Curso libreInteligencia artificial y datos
Ajuste fino de modelos de lenguaje abiertos con LoRA
El curso Ajuste fino de modelos de lenguaje abiertos con LoRA proporciona al estudiante el método para especializar modelos de pesos abiertos en una tarea propia en español mediante LoRA y QLoRA, preparar datos de instrucciones y evaluar con rigor si el ajuste mejora frente a la ingeniería de instrucciones y RAG.
A quién va dirigido
Desarrolladores y científicos de datos con Python intermedio y experiencia básica con modelos de lenguaje o Hugging Face.
Objetivos
✓Comprender las etapas de preentrenamiento, ajuste por instrucciones y alineación, y cuándo conviene ajustar un modelo.
✓Analizar modelos abiertos como Llama, Qwen, Gemma y Mistral y sus licencias de uso para elegir el adecuado.
✓Aplicar LoRA y QLoRA con Hugging Face PEFT, TRL SFTTrainer o Unsloth en Colab con seguimiento de pérdidas.
✓Diseñar un conjunto de datos de instrucciones en formato de conversación, deduplicado y dividido para validación.
✓Evaluar el modelo ajustado frente al modelo base con métricas automáticas, un modelo como juez y revisión humana.
Plan de estudios por sesión
1
Cuándo y cómo ajustar un modeloPreentrenamiento, ajuste por instrucciones, alineación y comparación con RAG · Llama, Qwen, Gemma y Mistral y sus licencias de uso
2
Datos de entrenamientoFormato de conversación, plantillas de chat, calidad y deduplicación · Datos sintéticos verificados y división entrenamiento, validación y prueba
3
Ajuste eficiente con LoRA y QLoRARangos, alfa, módulos objetivo y cuantización en 4 bits · TRL SFTTrainer o Unsloth en Colab y seguimiento de sobreajuste
4
Presentación del modelo ajustadoComparación con el modelo base, modelo como juez y revisión humana · Fusión de adaptadores y servicio con vLLM u Ollama
Evaluación
Inicial30%Análisis escrito de un caso de uso comparando ajuste fino, instrucciones y RAG, con elección justificada de modelo y licencia.
Intermedio30%Taller de preparación de datos con plantillas de chat, datos sintéticos verificados y primer entrenamiento con LoRA.
Final40%Modelo abierto ajustado con LoRA para una tarea en español, con comparación documentada frente al modelo base y demostración.
Proyecto final
Modelo abierto ajustado con LoRA para una tarea en español (clasificación o extracción), con comparación documentada frente al modelo base.