做法

前期预备、数据同步环节（历史数据全量同步、增量数据实时同步、rehash）、数据校验环节（全量校验、实时校验、校验规章配置）、数据修复工具等。

加速导入

1.关闭唯一性检查和外键检查，源表已经保证了这两项，所以目标表并不需要检查。

  1. 关闭 binlog，毕竟导入数据用不着 binlog。

3.调整 redo log 的刷盘时机，把 innodb_flush_log_at_trx_commit 设置为 0

image.png

用orm拦截器实现，动态修改配置

image.png

image.png

工具

数据传输服务DTS

image.png

分库分表可以考虑订阅dts binlong，mq消费处理

通过订阅DTS数据，自行解析插入

将MySQL数据迁移至Kafka - 数据传输服务 DTS - 阿里云

image.png

image.png