Kafka ? | Notion

🔍 내가 배운 내용 요약

Kafka는 대용량 실시간 데이터 스트리밍 플랫폼
프로듀서 → 브로커 → 컨슈머 구조로 동작
로그, 이벤트, 스트리밍 데이터를 빠르게 전달하고 처리할 수 있음
대규모 시스템, 마이크로서비스, 데이터 파이프라인의 핵심 구성 요소로 사용됨

📚 Kafka란?

Apache Kafka는 분산 메시징 시스템으로,

실시간 스트리밍 데이터의 수집, 전달, 저장, 처리를 담당함
LinkedIn에서 개발, 이후 Apache 오픈소스 프로젝트로 전환됨
초당 수백만 건의 메시지를 안정적으로 처리 가능
비동기 방식, 내결함성, 확장성이 뛰어남

✅ Kafka의 핵심 개념

개념	설명
Producer	데이터를 Kafka로 전송하는 주체 (예: 앱, 센서, 서버 등)
Consumer	Kafka에서 데이터를 읽는 주체 (예: 분석 시스템, 알림 서비스 등)
Broker	메시지를 저장하고 관리하는 Kafka 서버
Topic	메시지를 주제별로 분류하는 단위 (Producer/Consumer가 공유)
Partition	Topic을 나눈 조각, 병렬 처리와 확장성을 높임
Offset	Consumer가 읽은 메시지의 위치 정보
ZooKeeper	클러스터 상태 관리와 브로커 조정 담당 (Kafka 3.x부터는 선택 사항)

✅ Kafka의 주요 특징

특징	설명
실시간 처리	수십만~수백만 TPS 처리 가능
확장성	브로커와 파티션 수를 늘려 수평 확장 가능
내결함성	메시지를 여러 브로커에 복제해 장애 대비
영속성	메시지를 디스크에 저장, 일정 기간 유지 가능
느슨한 결합	Producer와 Consumer가 직접 연결되지 않음
스트리밍 처리	Kafka Streams, ksqlDB 등과 연계 가능