🛫 O que é o Apache Airflow?

O Apache Airflow é uma plataforma open-source para orquestração de workflows, ou seja, ele ajuda a criar, agendar e monitorar pipelines de dados (ou qualquer tipo de processo automatizado) de forma organizada e escalável.

Em vez de executar scripts de forma solta e sem controle, o Airflow permite:

• Definir tarefas e a ordem de execução.
• Controlar dependências entre tarefas.
• Definir agendamentos automáticos.
• Monitorar falhas e reexecutar processos.
• Escalar para lidar com grandes volumes.

📌 1. DAGs (Directed Acyclic Graphs)

O conceito central do Airflow é o DAG — Directed Acyclic Graph, ou grafo acíclico direcionado.

• Grafo: conjunto de nós (tarefas) conectados por arestas (dependências).
• Direcionado: as tarefas têm uma ordem definida (A → B → C).
• Acíclico: não pode haver loops (não existe caminho que leve de volta para uma tarefa anterior).

💡 No Airflow:

• Um DAG é um arquivo Python que define a estrutura do workflow.
• Cada tarefa é um Operator (ex.: PythonOperator, BashOperator, etc.).
• A ordem de execução é definida com >> ou <<.

Exemplo simples de DAG no Airflow:

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

def tarefa_exemplo():
    print("Executando tarefa...")

with DAG(
    dag_id='meu_dag_exemplo',
    start_date=datetime(2025, 1, 1),
    schedule_interval='@daily',
    catchup=False
) as dag:

    tarefa1 = PythonOperator(
        task_id='tarefa_1',
        python_callable=tarefa_exemplo
    )

    tarefa2 = PythonOperator(
        task_id='tarefa_2',
        python_callable=lambda: print("Segunda tarefa")
    )

    tarefa1 >> tarefa2  # Definindo a ordem