참조 참조

Overview

Fluent Bit는 로그나 메트릭과 같은 데이터를 수집하고 가공한 후, 다양한 목적지로 전송하기 위한 Log Processor + Forwarder입니다.

특히 컨테이너 환경 (Kubernetes, Docker)과의 통합이 잘 되어 있어, 클라우드 환경에서 경량 로그 수집기로 각광받고 있습니다.

Feature

1. 경량성과 성능
   • 메모리 효율성: 약 650KB의 작은 메모리 풋프린트
   • CPU 최적화: 최소한의 CPU 사용량으로 고성능 처리
   • 제로 디펜던시: 외부 의존성 없이 독립적으로 실행
2. 플러그인 아키텍처
   • 입력 플러그인: 다양한 소스에서 데이터 수집
   • 필터 플러그인: 데이터 변환, 파싱, 강화
   • 출력 플러그인: 다양한 목적지로 데이터 전송
   • 확장성: 사용자 정의 플러그인 개발 가능
3. 클라우드 네이티브 지원
   • Kubernetes 통합: DaemonSet, 사이드카 패턴 지원
   • Docker 로그 드라이버: 컨테이너 로그 자동 수집
   • 마이크로서비스 아키텍처: 분산 환경에 최적화

📦 Routing

라우팅은 Tag 및 Matching Rule 두 가지를 기반으로 한다.

태그는 Data Source를 식별하는데 도움을 줄 수 있는 표시이며 Data Routing 위치를 정의하려면 Match 규칙을 지정한다.

📂 Buffering

Fluent-bit는 System memory인 Heap으로 레코드 로그가 전달되기 전 임시 공간으로 사용되고 레코드는 개인 메모리 영역에서 처리된다. 버퍼링은 레코드를 저장하고 이전 데이터를 처리하여 전달하는 동안 들어오는 데이터를 계속 저장하는 기능이다.

큰 로그 파일. 즉, 백로그가 큰 로그 전송하는데 Backpressurce가 발생하는데 fluent-bit는 메모리 기본 버퍼링 메커니즘을 제공하고 파일 시스템을 사용하는 보조 버퍼링 메커니즘을 선택적으로 제공한다.

안정성을 높이는 예시를 다음과 같이 구성하면, 소스에서 레코드를 2MB Chunk로 구성된다 하면, 기본적으로 모든 청크는 메모리에만 생성되고, 파일 메커니즘을 추가 구성하면 파일 시스템에 백업된다.

• 메모리 버퍼링
  • 백프레셔를 방지하기 위해, 수집할 수 있는 데이터 양을 제한하는 메커니즘인 mem_buf_limit를 통해 메모리 내 레코드 수를 제한한다.