1 概念

1.1 什么是消息中间件

消息队列中间件(Message Queue Middleware,MQ):利用 可靠的消息传递机制 进行 与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过消息排队模型,它可以在 分布式环境下扩展进程间的通信

消息队列中间件一般有两种传递模式:

1.2 消息中间件的作用

在不同的应用场景下有不同的作用,总的来说,可以概括如下:

1.3 消息中间件对比

特性 ActiveMQ RabbitMQ RocketMQ Kafka
单机吞吐量 万级,比RocketMQ,Kafka低一个数量级 万级,比RocketMQ,Kafka低一个数量级 10万级,支持高吞吐 10万级,支持高吞吐
Topic数量对吞吐量的影响 Topic可以达到几百/几千量级 Topic可以达到几百量级,如果更多的话,吞吐量会大幅度下降
时效性 ms级 微秒级别,延迟最低 ms级 ms级
可用性 高,基于主从架构实现高可用 高,基于主从架构实现高可用 非常高,分布式架构 非常高,分布式架构
消息可靠性 有较低的概率丢失数据 基本不丢 经过参数优化配置,可以做到0丢失 经过参数优化配置,可以做到0丢失
功能支持 MQ领域的功能极其完备 并发能力强,性能极好,延时很低 MQ功能较为完善,分布式,扩展性好 功能较为简单,支持简单的MQ功能,在大数据领域被广泛使用
其他 很早的软件,社区不是很活跃 开源,稳定,社区活跃度高 阿里开发,社区活跃度不高 开源,高吞吐量,社区活跃度极高

2 kafka基础架构

一个topic的分区,只能被同一个消费者组里的一个消费者消费