Curso libreInteligencia artificial y datos
Seguridad de la inteligencia artificial
El curso Seguridad de la inteligencia artificial proporciona al estudiante los marcos y técnicas para identificar y mitigar los riesgos de las aplicaciones con IA, como la inyección de instrucciones, la fuga de información y la agencia excesiva, con OWASP Top 10 for LLM Applications 2025 y MITRE ATLAS. Le sirve para desarrollar y operar sistemas de IA seguros alineados con ISO/IEC 42001 y NIST AI RMF.
A quién va dirigido
Desarrolladores, profesionales de ciberseguridad y líderes técnicos.
Objetivos
✓Comprender la superficie de ataque de la IA y los riesgos del OWASP Top 10 for LLM Applications 2025.
✓Analizar la inyección directa e indirecta, la fuga de datos, el envenenamiento de bases RAG y la agencia excesiva.
✓Aplicar filtros de entrada y salida, mínimo privilegio, aprobación humana y registro para defender una aplicación.
✓Diseñar un modelado de amenazas con MITRE ATLAS y un ejercicio de red teaming sobre una aplicación de prueba.
✓Evaluar la gobernanza de seguridad con ISO/IEC 42001, NIST AI RMF y planes de respuesta a incidentes.
Plan de estudios por sesión
1
Superficie de ataque de la IAComponentes: modelo, datos, herramientas y usuarios; OWASP Top 10 for LLM Applications 2025 · Ataques a modelos de aprendizaje automático y MITRE ATLAS
2
Ataques a aplicaciones con modelos de lenguajeInyección directa e indirecta y fuga de instrucciones de sistema y de datos · Envenenamiento de datos y de bases RAG y agencia excesiva de agentes
3
Controles y defensaFiltros de entrada y salida y mínimo privilegio para herramientas · Aprobación humana en acciones críticas y registro y detección de abuso
4
Presentación del proyecto final: evaluación de seguridad de una aplicaciónRed teaming de aplicaciones de IA y modelado de amenazas · ISO/IEC 42001, NIST AI RMF y respuesta a incidentes
Evaluación
Inicial30%Mapa de la superficie de ataque de una aplicación con modelo de lenguaje frente al OWASP Top 10 2025.
Intermedio30%Laboratorio de pruebas de inyección de instrucciones sobre una aplicación de prueba con controles propuestos.
Final40%Proyecto final: evaluación de seguridad con modelado de amenazas en MITRE ATLAS, pruebas de ataque y plan de mitigación, sustentada.
Proyecto final
Evaluación de seguridad de una aplicación con modelo de lenguaje con modelado de amenazas, pruebas de ataque y plan de mitigación.