Curso libreInteligencia artificial y datos
Modelos de lenguaje: cómo funcionan
El curso Modelos de lenguaje: cómo funcionan proporciona al estudiante una comprensión técnica de lo que ocurre dentro de un modelo de lenguaje: tokenización, embeddings, arquitectura transformer, preentrenamiento, ajuste fino y alineación. Le sirve para usar y construir aplicaciones con criterio, entendiendo el origen de sus capacidades, sus alucinaciones y sus límites.
A quién va dirigido
Estudiantes y profesionales de tecnología con Python básico.
Objetivos
✓Comprender la tokenización por subpalabras, los embeddings, el modelado del siguiente token y la ventana de contexto.
✓Analizar la arquitectura transformer: autoatención, atención multicabeza, codificación posicional y modelos solo decodificador.
✓Aplicar la librería transformers de Hugging Face para tokenizar texto, obtener embeddings y analizar la atención.
✓Diseñar experimentos que controlen la generación con temperatura, top-p, longitud, instrucciones de sistema y ejemplos.
✓Evaluar las diferencias entre preentrenamiento, ajuste fino, alineación y modelos abiertos frente a comerciales.
Plan de estudios por sesión
1
Del texto a los númerosTokenización por subpalabras y embeddings en el espacio semántico · Modelado del siguiente token y ventana de contexto
2
La arquitectura transformerAutoatención, atención multicabeza y codificación posicional · Modelos solo decodificador y escala de parámetros y datos
3
Entrenamiento y alineaciónPreentrenamiento a gran escala y ajuste fino por instrucciones · Alineación con retroalimentación humana y ajuste fino eficiente con LoRA
4
Presentación del proyecto final: cuaderno con un modelo abiertoTemperatura, top-p, longitud, instrucciones de sistema y ejemplos · Alucinaciones y sus causas; modelos abiertos frente a comerciales
Evaluación
Inicial30%Ejercicio de tokenización y obtención de embeddings con la librería transformers de Hugging Face.
Intermedio30%Análisis de mapas de atención de un modelo abierto y cuadro comparativo de preentrenamiento, ajuste fino y alineación.
Final40%Proyecto final: cuaderno que carga un modelo de Hugging Face, analiza tokens y atención y compara parámetros de generación, sustentado.
Proyecto final
Cuaderno que carga un modelo abierto de Hugging Face, analiza tokens y atención, y compara salidas con distintos parámetros de generación.