image.png

多线程位移提交

位移提交是有重复消费消息和丢失数据的风险的,好的办法就是自己完全实现一套多线程+管理offset的方案,就像Spark Streaming和Flink做的那样。有兴趣的话可以阅读以下Flink中Kafka Connector的源代码)

资料

https://www.cnblogs.com/huxi2b/p/6124937.html

https://www.cnblogs.com/huxi2b/p/13668061.html