<aside> 💡

카프카 Connect는 Kafka 메시지 시스템(Broker/Producer/Consumer)를 기반으로 다양한 데이터 소스 시스템 (예:RDBMS, CSV)에서 발생한 데이터 이벤트를 다른 데이터 타겟 시스템으로 별도의 Kafka Client 코딩 없이, Seamless하게 실시간으로 전달하기 위해서 만들어진 Kafka Component.

</aside>

카프카 Connect 의 주요 구성 요소

Connector

• Jdbc source/sink Connector
• debezium CDC source Connector (CDC 기반)
• Elasticsearch sink connector
• File Connector
• MongoDB source/sink Connector

Transformation

• SMT(Single Message Transformation)

Convertor

일반적으로 producer 에서 broker, consumer 에 보내는 메시지는 직렬화, 역직렬화를 사용한다.

하지만 Connector 에서 보내는 메세지는 fomatting 이 필요함

• 대표적으로 JsonConverter or AvroConverter 사용

예를들어

RDBMS(soruce db) 에서 record 나 class 를 sinkDB 에 보내는데 record나 class만 가지고는 sinkDB 쪽에 저장을 할 수 없음.

JDBC 코드로도 바뀌어야하고, 다른 메타성 정보들을 JSON & Avro 컨버터로 할것인지를 Config에서 정해야 함.