🏗️ PySpark & Airflow Data Platform

Pipeline de datos Cloud-Native en Producción, orquestado con Airflow y procesado con Apache Spark en Google Cloud Platform.

<aside> 🚀 Status: Production Ready | Stack: Python 3.11, Spark 3.5, Airflow 2.10

</aside>

graph LR
    SRC[Supabase] --> RAW[Bronze-Raw]
    RAW --> SILVER[Silver-Clean]
    SILVER --> GOLD[Gold-Agg]
    GOLD --> BQ[BigQuery]
    BQ --> LOOKER[Studio]

graph LR
    SRC[Supabase DB] -->|Extract| RAW[GCS Raw (Bronze)]
    RAW -->|Spark Clean| SILVER[GCS Silver]
    SILVER -->|Spark Agg| GOLD[GCS Gold]
    GOLD -->|Load| BQ[BigQuery]
    BQ -->|Viz| LOOKER[Studio]

2. Historias de Guerra (Performance Wins)

<aside> ⚡ Logro Principal: Reducción de tiempo de ejecución de 32 min a 4 min (700% Boost).

</aside>

• Problema: Spark renaming en GCS es lento (Copy+Delete).
• Solución: Custom Commit Protocol para escribir directo en cloud storage.

3. Stack Tecnológico

• Orquestador: Apache Airflow (Dockerizado)
• Procesamiento: PySpark (In-Memory Cluster)
• Data Lake: Google Cloud Storage
• Warehouse: BigQuery

4. Métricas Clave