Google DeepMind: Ajusta Finamente Tu Modelo

Resumen

Unleash the power of language models with fine-tuning. In this course, you will learn how to adjust a pre-trained model to a specific task.

Complete the advanced Google DeepMind:

Train A Small Language Model skill badge by completing this course to demonstrate skills in the following:

formulating real-world language model research problems; building a simple tokenizer; preparing a dataset for training a transformer language model; running the training loop of a small language model.

Programa

• Introducción a la afinación fina
En este módulo, explorarás la motivación para la afinación fina. Incluso cuando un gran modelo de lenguaje preentrenado está disponible, puede que no siempre haga exactamente lo que quieres que haga. Aquí, investigarás las capacidades y limitaciones de un modelo de lenguaje preentrenado para comprender mejor por qué es necesario ajustar finamente los modelos a nuevas tareas.
• Formato
En este módulo, apreciarás el poder y la importancia del formato para la afinación fina de grandes modelos de lenguaje. Explorarás los diversos formatos necesarios para lograr diferentes tareas. Preprocesarás un conjunto de datos derivado del conjunto de datos África Galore y lo transformarás en un formato de pregunta y respuesta. Esto se utilizará en módulos posteriores para ajustar finamente tu modelo de lenguaje para que pueda generar tarjetas de estudio de revisión, una tarea para la cual no fue preentrenado.
• Afinación fina de parámetros completos
En este módulo, aprenderás la afinación fina de parámetros completos: un método sencillo para adaptar modelos preentrenados. Para comprenderlo, primero tomarás el pequeño modelo de lenguaje que construiste en el curso 04 Descubre la Arquitectura Transformer. Luego continuarás su entrenamiento en un conjunto de datos pequeño y especializado para generar las tarjetas de estudio de revisión que creaste en el módulo anterior. Este proceso te permitirá comparar la afinación fina con el entrenamiento desde cero, observando las principales similitudes y diferencias en la secuencia de desarrollo. Aquí también considerarás cómo se entiende la IA dentro de contextos culturales al leer una historia sobre IA y luego crear tu propia pieza corta de ficción. El objetivo aquí es explorar cómo la narrativa puede actuar como un enfoque complementario para anticipar y reflexionar sobre el significado y los valores culturales.
• Afinación fina eficiente en parámetros
En este módulo, explorarás la adaptación de bajo rango (LoRA), una alternativa computacionalmente más eficiente a la afinación fina de parámetros completos. LoRA es una técnica popular de afinación fina eficiente en parámetros (PEFT). Investigarás LoRA aplicándola para ajustar finamente el modelo Gemma3-1B, que tiene mil millones de parámetros. Esto te permitirá experimentar de primera mano cómo es capaz de lograr excelentes resultados con una fracción del costo computacional de la afinación fina de parámetros completos.
• Oportunidades y limitaciones de SFT
En este módulo, considerarás las limitaciones de la afinación fina supervisada. Luego recibirás un breve resumen de técnicas avanzadas basadas en aprendizaje por refuerzo (RL). Esto te introducirá a cómo estos enfoques pueden alinear mejor el comportamiento de un modelo con los valores y preferencias humanas.
• Desafío
En este módulo, explorarás la perspectiva y la gobernanza. Considerarás cómo los valores y significados revelados a través de la narración pueden informar el informe de perspectiva y ayudarte a diseñar respuestas de gobernanza, incluyendo reglas ejecutables, transparencia y responsabilidad. Esto te equipa para pensar sobre cómo una gobernanza fuerte puede proteger a las comunidades, garantizar la equidad y alinear la IA con los valores sociales.
• Continúa tu viaje
Evalúa críticamente y diseña enfoques de gobernanza que incluyan aplicación, reglas claras y carga de la prueba.

Impartido por

Google Cloud

Materias

Computer Science