Analytics Challenges

3 buckets = Query / Infra / Storage

• Querying
  • Queries take too long → analysis stalls. (쿼리 지연 → 분석 지연)
  • Hard to join/query across all collected data. (데이터 소스 통합·조인 어려움)
• Infrastructure
  • “We’re data, not infra.” Maintaining/patching clusters ≠ sustainable. (운영 부담 큼)
  • On-prem clusters don’t scale with workload growth. (스케일링 한계)
• Storage
  • Can’t afford to store all business data → partial history only. (원천 데이터 일부만 보관)
  • No central analytics warehouse/tooling. (중앙화된 분석 플랫폼 부재)

Big Data: On-Prem vs Cloud

Why Google Cloud for analytics

• Cheap durable storage (저렴·내구성 높은 스토리지)
• Focus on queries, not servers (인프라 운영 → 서비스가 맡음)
• Massive scalability on demand (필요 시 자동 확장/축소)

Traditional big data

• MapReduce(2004) 계열이 여전히 다수.

• 현실: 시간·비용 대부분이 insight가 아니라 머신 돌봄(care & feeding) 에 들어감

  (프로비저닝, 튜닝, 모니터링, 성능 관리, 데이터 핸들링).

Cloud model evolution

• Colo: 내 장비를 남의 IDC에 놓음 (소유·운영은 여전).

• Virtualization (IaaS): API로 VM 자동화, CapEx → OpEx. Still user-managed infra.

• Fully managed / serverless: 서비스가 인프라 자동 프로비저닝·컨피그.

  Dev는 머신 단위 생각 X → 서비스 단위에 집중.

Cloud scale & economics

• 필요 시 150 machines ↔ 1 machine의 동일 작업량을 시간-병렬성으로 트레이드오프.

  (1TB를 1초 vs 150초 느낌)

• 유휴 자원 비용 On-prem은 고정비, Cloud는 elastic + 종량제(pay-as-you-go).