单一职责迁移工具

leonchen83/redis-replicator

需要跑一个 JVM 做 RDB + AOF 同步回放,貌似可以自定义注册 command parser 做 key 的过滤,然后拿到想要的 key 同步迁移到目标 Redis。

TraceNature/redissyncer-server

缺点是只能做 redis 的事情,不通用,虽然可以过滤 key,但是应该还是全量回放。

kafka connect

Kafka Connect是 kafka 扩展组件,是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具,如数据库,键值存储,搜索索引和文件系统。Source流入Sink流出

基于Kafka Connect的流数据同步服务实现和监控体系搭建-InfoQ

基本市面上能想到的啥都能同步,比如下面是 redis - redis 的数据同步实现,原生支持 docker 、k8s

Home

Redis Connector (Source and Sink)

jaredpetersen/kafka-connect-redis

如果有特殊需求可以自己随时写 connect 插件,比较通用,kafka性能稳定,插件很多(200+)

亦或者:https://github.com/shyiko/mysql-binlog-connector-java Mysql 的收集

有人写好了 connector 我们自己寻找或自己实现 sink ,替代 canal 的场景应该可以全覆盖。