Curso libreInteligencia artificial y datos
Ingeniería de datos
El curso Ingeniería de datos proporciona al estudiante la práctica para construir flujos de datos confiables de extremo a extremo: ingesta desde API y bases de datos con Python, almacenamiento en PostgreSQL y BigQuery, transformación con SQL y dbt, orquestación con Apache Airflow, Docker, Git y pruebas de calidad, para llevar datos limpios a analistas y modelos de IA.
A quién va dirigido
Desarrolladores y analistas con Python y SQL intermedios.
Objetivos
✓Comprender el ciclo de vida de la ingeniería de datos, el procesamiento por lotes y en flujo y la diferencia entre ETL y ELT.
✓Analizar opciones de almacenamiento en PostgreSQL, almacenamiento de objetos, BigQuery y formato Parquet.
✓Aplicar la extracción con Python desde API y bases de datos y la transformación versionada con modelos SQL en dbt.
✓Diseñar un flujo de datos orquestado en Apache Airflow con programación, reintentos, pruebas y documentación.
✓Evaluar la operación del flujo con pruebas de calidad, monitoreo, alertas, control de versiones, costos y seguridad.
Plan de estudios por sesión
1
Ciclo de vida: generación, ingesta, almacenamiento, transformación y servicioProcesamiento por lotes y en flujo; ETL frente a ELT · Contenedores con Docker
2
Ingesta: extracción desde API y bases de datos con PythonPostgreSQL y almacenamiento de objetos · Bodegas en la nube como BigQuery y formato Parquet
3
Transformación con modelos SQL en dbtPruebas y documentación en dbt · DAG en Apache Airflow con programación y reintentos
4
Presentación del flujo de datos orquestado de extremo a extremoPruebas de calidad de datos, monitoreo y alertas · Control de versiones con Git, costos y seguridad
Evaluación
Inicial30%Diagrama del ciclo de vida de datos de un caso con justificación de ETL o ELT y entorno en Docker.
Intermedio30%Script de ingesta en Python desde una API pública con carga en PostgreSQL o BigQuery en formato Parquet.
Final40%Proyecto final: flujo orquestado en Airflow que extrae datos de una API pública, los transforma con dbt y los deja en una bodega.
Proyecto final
Flujo de datos orquestado que extrae datos de una API pública, los transforma con dbt y los deja listos en una bodega para análisis.