springboot-mysql-binlog

鸡声茅店月，人迹板桥霜。

1 前言

关于 mysql 的数据同步，一般都是读取 mysql 的 binlog 日志文件，来获取数据的变更进行同步。在开源项目中，监听 mysql binlog 的工具有很多，比如 mysql-binlog-connector-java、cannal 、flink-cdc , 在本文中会介绍第一个工具 mysql-binlog-connector-java 的用法。它是 github上的一个开源项目, 是二进制日志监听d的利器。

在介绍之前，我们需要先复习一下 mysql 数据同步的知识，如下图所示，mysql 的 master 节点在数据产生变动时，会生成一个 binarylog, slave 节点通过监听来读取 mysql 的日志，通过 io thread 来将读取到的信息转换成 relay log 中继日志，最后通过 sql thread 的操作在 slave 数据库中恢复数据，这就是数据同步的主要流程。

2 mysql 开启 binlog

在使用之前 mysqlbinlog 之前，需要先开启 mysql binlog , 通过命令 show variables like 'log_bin'; 可以查询数据是否已经开启 binlog 日志，在没有开启的情况下，是不能监听数据变动的。


ini复制代码
mysql 配置文件 my.cnf 中添加以下配置即可开启 binlog
log_bin=mysql-bin
binlog-format=ROW
server-id=1

开启 mysql binlog 时，需要配置 binlog 的日志格式和 server-id, 日志格式分为三种类型，分别是 STATEMENT、ROW、MIXED，在这里需要采用 ROW 模式。
server-id 用于标识 sql 语句是来自哪个 server，如果要正常监听事件就需要在配置文件中进行设置 server-id。

3 mysql-binlog 介绍

mysql-binlog 主要是通过监听并解析 mysql binlog，转换成对应的事件来提供给开发者来操作，主要的事件如下所示：


sql复制代码
RotateEventData  当MySql的binlog 文件发生滚动的时候会发生此事件
FormatDescriptionEventData  格式化显示事件信息，包括 binlog 版本，mysql 版本，事件时间戳，数据长度以及检验方式
QueryEventData   当binlog格式设置的是statement|mixed且做DB有了更新、插入或删除操作的时候会发生改(例如修改Row,alter表等)
TableMapEventData   表映射关系事件, 标识数据库以及数据库表的变动信息。
WriteRowsEventData  表新增数据事件，记录数据库表的新增行信息，可能是多行信息。
UpdateRowsEventData 表更新数据事件，记录数据库表的行更新，可能涉及多个行变动。
DeleteRowsEventData 表删除数据事件，记录数据库表的行删除，删除行的完整信息，会有多行记录。

当有一个变更事件时，首先是 RotateEventData 进行响应，然后是 TableMapEventData 和FormatDescriptionEventData 事件，最后才是具体的增删改查事件。一个事件包含有事件头和事件体, 事件头是事件的通用信息，包括事件类型、事件时间、数据长度以及 serverId。事件体即事件的数据信息，不同的事件类型，数据的格式不尽相同。


bash复制代码
作为 mysql binlog 的日志同步，有下面的优点：
支持解析binlog文件、解析GTID（全局事务id）
支持重连
支持设置故障转移策略
TLS协议安全使用
JMX-friendly
实时监控状态
无第三方依赖

4 环境准备

在开始编码之前，需要引入对应的依赖，


xml复制代码
<dependency>    <groupId>com.zendesk</groupId>    <artifactId>mysql-binlog-connector-java</artifactId>    <version>0.27.1</version></dependency>

另外，在这个过程中，会涉及到数据库表的操作，由于 mysql-binlog 没有展示对应的表字段，所以开发了一个能查询数据库表字段、注释的方法，这里用到了 hutool 工具类，真心很好用，借助这个机会展示一下如何在非web 环境下操作数据库，在操作之前，需要先引入 hutool的依赖和数据库连接驱动的依赖，这两个比较基础，就不在这里贴了。