BigQuery

Overview

• BigQuery = fully-managed data warehouse (테라바이트~페타바이트 규모, org-wide single source of truth).
• Data warehouse vs Data lake
  • Warehouse: structured/organized, optimized for advanced querying.
  • Lake: raw/unorganized, 목적 미정 데이터 풀.

Key features

• Two-in-one: Storage + Analytics (저장소 + 초고속 SQL 엔진).
• Serverless / No infra: no provisioning, autoscale, 관리 부담 ↓ (배포/확장/보안은 GCP가 처리).
• Pricing: pay-as-you-go (bytes scanned + storage) or flat-rate (예약 용량, predictable bill).
• Security: encryption at rest 기본 제공.
• Built-ins:

  • Geospatial (GEOGRAPHY + SQL functions)

  • BI Engine (대시보드 가속)

  • BigQuery ML (BQML): SQL로 모델 학습/예측

    ↔ Vertex AI와 연계(데이터 export/import)로 data→AI 파이프라인 매끄럽게.

Reference architecture

Streaming → Pub/Sub → Dataflow(ETL) → BigQuery → (Looker/Studio, Sheets, Vertex AI)
Batch     → Cloud Storage → Dataflow(ETL) → BigQuery → (BI 도구/ML)

• 4Vs 고려: variety/volume/velocity/veracity.
• BigQuery는 중앙 허브: Dataflow에서 처리된 데이터 수집/저장/분석 → BI(Looker, Tableau, Looker Studio, Sheets)와 AI/ML(Vertex AI: AutoML, Workbench)로 분기.
• 팀 롤: analysts, BI devs, data scientists, ML engineers → 권한 기반 접근.

Storage & ingestion

• Storage + Compute 분리, GCP 내부 고속 네트워크로 연결 → 각각 독립 확장.
• Ingestion sources

  • Internal tables (BigQuery 내부 저장)

  • External/federated: Cloud Storage, Spanner, Cloud SQL, Google Sheets 등 바로 쿼리 가능

    (단, 저장/처리를 분리하면 일관성 이슈 가능 → streaming은 Dataflow→BigQuery 권장)

  • Multi-cloud (AWS/Azure의 데이터도 접근)

  • Public datasets (마켓플레이스)

• 관리: 복제/백업/오토스케일 자동.

Loading patterns (3가지)