Cloud Logging

Why Cloud Logging

• Gather: 다양한 워크로드/서비스에서 로그 수집 → 트러블슈팅에 필요한 컨텍스트 확보.
• Analyze: Log Explorer, Error Reporting, Log Analytics로 대용량에서 신속히 포커싱.
• Route & Store: 규정/비즈니스 요구에 맞는 리전/시스템으로 라우팅.
• Compliance: Audit/App logs로 규정 준수 인사이트. (Audit Logs 모듈에서 자세히 다룸)

Architecture

• Log Collections (소스): GCE, GAE, GKE, 서버리스(Cloud Run/Functions), 사용자 앱 등.
• Log Router (라우터): 포함/제외 필터로 목적지 결정. 스트리밍 처리+버퍼링.
• Sinks (목적지)
  • Logging buckets (로그 전용 버킷)
  • Pub/Sub (3rd party/자체 파이프라인 연동)
  • BigQuery (SQL 분석)
  • Cloud Storage (JSON 파일 장기보관/아카이브)
• Log Analysis (분석도구)
  • Logs Explorer: 실시간 스트리밍, 리소스 탐색기, 히스토그램(시각화)
  • Error Reporting: 자동 에러 그룹핑 + 알림
  • Logs-based metrics / 대시보드 / 알림
  • Log Analytics: 애드혹 분석(쿼리 기반)

Log types

• Platform logs: GCP 서비스가 쓰는 로그 (예: VPC Flow Logs).
• Component logs: Google 제공 컴포넌트가 생성(GKE 컴포넌트 등).
• Security logs (“누가/언제/어디서/무엇을”):
  • Cloud Audit Logs(Admin Activity, Data Access 등)
  • Access Transparency(Google 직원 액세스 기록)
• User-written logs: 앱/서비스가 쓰는 커스텀 로그.
  • 수집 경로: Ops Agent, Logging API, 클라이언트 라이브러리.
• Multi/Hybrid-cloud logs: Azure, 온프레미스 등 외부 소스에서 유입.

Collection

• 에이전트/라이브러리 사용 권장. 실험용으론 gcloud logging write 또는 API entries.write.
• 컨테이너/GKE/Container-Optimized OS: stdout/stderr 자동 수집.