There are only two hard problems in distributed systems :

1. Guaranteed order of messages
2. Exactly-once delivery

Kafka Streams

• 출처

<aside> 🌊 카프카 토픽에 적재된 데이터를 실시간으로 변환하여 다른 토픽에 적재하는 Kafka 클라이언트 자바 라이브러리

</aside>

Stateless 처리 : 다른 레코드에 관계없이 그 레코드만으로 처리가 가능한 처리

Stateful : 이전 레코드들이 의사결정에 활용되는 처리

• Stateful 처리를 위해선 상태 저장소(state store) 가 필요한데, 낮은 latency를 위해서 각 처리 노드의 로컬에 state store 보관 유지.

장점들

1. 카프카와의 완벽한 호환
2. Exactly Once 를 보장하기 때문에 서비스 로직에 집중할 수 있음
3. Streams DSL (Domain Specific Language), Processor API 제공
   1. 미리 제공되는 함수들을 이용하여 topology를 정의하는 방식
   2. 이벤트 기반 데이터 처리에 필요한 기능들을 제공하기 때문에 스트림즈를 구현하기 편함 (쉽게 말하면 주로 사용하려는 기능들이 이미 만들어져 있음. 예를 들면 map, join, window)
   3. Stream DSL의 레코드 흐름의 추상화 개념 3가지 (KStream, KTable, GlobalKTable)
4. 상태 기반 처리를 위해 자체 로컬 상태 저장소로 RocksDB 사용. 상태에 대한 변환 정보는 kafka changelog 토픽에 저장

Kafka Streams Topology

KStream

• 일반적인 consumer와 비슷하게 모든 데이터 출력

KTable