Google DeepMind : Ajustez Votre Modèle

Aperçu

Unleash the power of language models with fine-tuning. In this course, you will learn how to adjust a pre-trained model to a specific task.

Complete the advanced Google DeepMind:

Train A Small Language Model skill badge by completing this course to demonstrate skills in the following:

formulating real-world language model research problems; building a simple tokenizer; preparing a dataset for training a transformer language model; running the training loop of a small language model.

Programme

• Introduction au fine-tuning
Dans ce module, vous explorerez la motivation du fine-tuning. Même lorsqu'un grand modèle de langage pré-entraîné est disponible, il peut ne pas toujours faire exactement ce que vous voulez qu'il fasse. Ici, vous examinerez les capacités et les limites d'un modèle de langage pré-entraîné afin de mieux comprendre pourquoi il est nécessaire d'ajuster les modèles à de nouvelles tâches.
• Formatage
Dans ce module, vous apprécierez la puissance et l'importance du formatage pour le fine-tuning des grands modèles de langage. Vous explorerez les différents formats requis pour réaliser diverses tâches. Vous prétraiterez un ensemble de données dérivé du jeu de données Africa Galore et le transformerez en un format question-réponse. Cela sera ensuite utilisé dans les modules suivants pour affiner votre modèle de langage afin qu'il puisse générer des fiches de révision, une tâche pour laquelle il n'a pas été pré-entraîné.
• Fine-tuning à paramètres complets
Dans ce module, vous apprendrez le fine-tuning à paramètres complets : une méthode simple pour adapter les modèles pré-entraînés. Pour comprendre, vous prendrez d'abord le petit modèle de langage que vous avez construit dans le cours 04 Découvrir l'Architecture du Transformeur. Ensuite, vous continuerez son entraînement sur un petit ensemble de données spécialisé pour générer les fiches de révision que vous avez créées dans le précédent module. Ce processus vous permettra de comparer le fine-tuning à l'entraînement à partir de zéro, en observant les principales similitudes et différences dans le pipeline de développement. Vous envisagerez également comment l'IA est appréhendée dans les contextes culturels en lisant une histoire sur l'IA, puis en créant votre propre courte œuvre de fiction. L'objectif ici est d'explorer comment le récit peut agir comme une approche complémentaire à l'anticipation et à la réflexion pour révéler le sens culturel et les valeurs.
• Fine-tuning efficace en paramètres
Dans ce module, vous explorerez l'adaptation à faible rang (LoRA), une alternative plus efficace sur le plan informatique au fine-tuning à paramètres complets. LoRA est une technique populaire de fine-tuning efficace en paramètres (PEFT). Vous examinerez LoRA en l'appliquant pour ajuster le modèle Gemma3-1B, qui possède un milliard de paramètres. Cela vous permettra de constater de première main comment il peut obtenir d'excellents résultats avec une fraction du coût informatique du fine-tuning à paramètres complets.
• Opportunités et limites du SFT
Dans ce module, vous examinerez les limites du fine-tuning supervisé. Vous aurez ensuite un aperçu des techniques avancées basées sur l'apprentissage par renforcement (RL). Cela vous introduira à la manière dont ces approches peuvent mieux aligner le comportement d'un modèle avec les valeurs et préférences humaines.
• Défi
Dans ce module, vous explorerez la prospective et la gouvernance. Vous analyserez comment les valeurs et les significations révélées par le storytelling peuvent informer les rapports prospectifs et vous aider à concevoir des réponses de gouvernance, y compris des règles exécutoires, la transparence et la responsabilité. Cela vous permet de réfléchir à la manière dont une gouvernance solide peut protéger les communautés, assurer l'équité et aligner l'IA sur les valeurs sociétales.
• Poursuivre votre parcours
Évaluez de manière critique et concevez des approches de gouvernance qui incluent l'application, des règles claires et la charge de la preuve.

Enseigné par

Google Cloud

Matières

Computer Science