Real-time Data

What we’re building

• Ingest: Pub/Sub (publisher → topic → subscriber)
• Process: Dataflow (streaming pipeline, elastic)
• Store/Analyze: BigQuery (warehouse) — module 3에서 자세히
• Visualize: Looker / Looker Studio

Batch vs Streaming

• Batch: process stored data on a schedule (ex. payroll, monthly billing).

  → 느려도 OK, 큰 덩어리로 처리.

• Streaming: continuous flow; process as it arrives (near-real time).

  → ex. fraud/intrusion detection, 실시간 알림.

  → 분석 결과에 기반한 즉각 행동이 목적.

Big Data “4Vs”

• Variety (다양성): 수많은 소스 & 포맷 (numbers, images, audio, POS, sensors).

  → 스키마/포맷 차이, 중복/정합성 이슈.

• Volume (규모): GB → PB까지 스케일.

  → 파이프라인/인프라가 확장 가능해야 함.

• Velocity (속도): near-real time 요구.

  → late data, bad messages, on-the-fly transform 처리 필요.

• Veracity (진실성/품질): 소스 다양 → 불일치/불확실성.

  → 품질관리 전략 필수.

Message-oriented (Data Ingestion)

• 스트리밍 데이터가 초기 관문에서 대량으로 유입.
• IoT 예시: 택시 위치(30초마다), 데이터센터 온도 센서 등 — 모두 비동기, 다수 소스.

Ingestion의 4가지 난제

1. Many methods/devices → 서로 안 맞는 프로토콜, 지연/오류 데이터 섞임.
2. 정확한 라우팅: 이벤트 메시지를 올바른 구독자에게 배포.