Curso libreInteligencia artificial y datos
Orquestación de flujos de datos con Apache Airflow
El curso Orquestación de flujos de datos con Apache Airflow proporciona al estudiante las técnicas para programar, monitorear y recuperar canalizaciones de datos con DAG, la API TaskFlow, sensores, reintentos y alertas, desplegando Airflow con Docker, de modo que sus procesos de extracción y carga se ejecuten de forma confiable.
A quién va dirigido
Analistas e ingenieros de datos con Python y SQL de nivel intermedio y manejo básico de la terminal.
Objetivos
✓Comprender los enfoques ETL y ELT y los componentes de Airflow: programador, ejecutor, DAG y tareas.
✓Analizar dependencias, programación y ejecuciones retroactivas para organizar canalizaciones confiables.
✓Aplicar la API TaskFlow, operadores y conexiones para bases de datos y APIs con paso de datos entre tareas.
✓Diseñar una canalización diaria con reintentos, tiempos de espera, sensores, alertas y carga a PostgreSQL.
✓Evaluar la confiabilidad de los DAG con pruebas, registros y monitoreo en la interfaz web.
Plan de estudios por sesión
1
Conceptos de orquestaciónETL, ELT y arquitectura de Airflow · Instalación con Docker Compose, interfaz web y monitoreo
2
Construcción de DAGAPI TaskFlow, operadores y conexiones · Programación, ejecuciones retroactivas y paso de datos entre tareas
3
Confiabilidad de las canalizacionesReintentos, tiempos de espera, sensores y dependencias externas · Alertas, registros y pruebas de DAG
4
Presentación de la canalización diariaExtracción desde una API pública y carga a PostgreSQL · Documentación
Evaluación
Inicial30%Instalación de Airflow con Docker Compose y recorrido guiado de la interfaz web con un DAG de ejemplo.
Intermedio30%Taller de construcción de DAG con TaskFlow, operadores, conexiones y configuración de reintentos y sensores.
Final40%Canalización diaria en Airflow que extrae de una API pública, transforma y carga en PostgreSQL con alertas, documentada y sustentada.
Proyecto final
Canalización diaria en Airflow que extrae datos de una API pública, los transforma y los carga en PostgreSQL con alertas de falla.