Aperçu
Train more powerful models with a single GPU, learn how hardware can speed up model training and the key considerations when training models on a GPU. Train more powerful models with a single GPU.
In this course, you will learn how hardware can speed up model training and the key considerations when training models on a GPU. First, you will learn how to estimate the number of computations and the amount of computer memory required to train large neural networks.
You will then discover techniques for reducing the computing and memory requirements when training a model. Techniques which you will apply for fine-tuning a Gemma model with 4 billion parameters.
Finally, you will consider the potential environmental impacts of machine learning, with a focus on where questions of energy, water, and e-waste intersect with justice and equity.
Programme
- Introduction
Dans ce module, vous allez apprendre les spécificités du matériel spécialisé pour l'entraînement des modèles de réseaux neuronaux, appelés unités de traitement graphique (GPU). Vous explorerez le compromis entre l'efficacité du modèle, c'est-à-dire à quelle vitesse un modèle peut être entraîné et faire des prédictions, et la performance, c'est-à-dire la capacité d'un modèle à résoudre une tâche. Vous verrez que les modèles avec plus de paramètres fonctionnent généralement mieux, mais peuvent aussi être plus lents et nécessiter plus de mémoire informatique. Vous cartographierez également les parties prenantes affectées par les impacts environnementaux potentiels de l'IA tels que la consommation d'énergie, la consommation d'eau, et les déchets électroniques, afin de voir comment différents groupes ressentent à la fois les risques et les avantages potentiels. Cet exercice vous aidera à comprendre pourquoi la justice environnementale en IA nécessite de considérer des perspectives diverses, des communautés locales aux développeurs, en passant par les décideurs politiques et les générations futures.
- Calcul
Dans ce module, vous découvrirez quelles opérations sont effectuées lorsque vous entraînez un modèle sur un GPU et quelles opérations sont effectuées lors de l'inférence. Vous apprendrez comment les ordinateurs représentent les nombres et comment le changement de la représentation des nombres affecte les calculs et les besoins en mémoire informatique. Vous explorerez des techniques pour réduire l'effort de calcul sans aucune réduction, ou très peu, de la performance du modèle. Vous explorerez aussi votre propre rôle en tant que développeur en cartographiant votre empreinte carbone, l'impact positif que vous pouvez avoir par des choix réduisant la consommation d'énergie et de ressources dans la chaîne de l'IA. Cette réflexion vous aidera à voir comment les décisions techniques quotidiennes, comme la taille du modèle ou l'emplacement de l'entraînement, se connectent directement aux objectifs plus larges de durabilité et de justice environnementale.
- Mémoire GPU
Dans ce module, vous explorerez les détails concernant la mémoire lors de l'entraînement des modèles et de la réalisation de l'inférence sur un GPU. Vous apprendrez à estimer la quantité de mémoire informatique nécessaire pour entraîner un modèle spécifique. Vous expérimenterez et appliquerez ensuite des méthodes pour diminuer les besoins en mémoire, telles que la représentation des nombres en bfloat16.
- Autres considérations
Dans ce module, vous aurez un aperçu des techniques plus avancées pour réduire les besoins en mémoire. Vous découvrirez l'accumulation de gradients et comment celle-ci peut être utilisée comme alternative à des tailles de batch plus grandes, et vous appliquerez cette technique pour affiner un modèle avec 4 milliards de paramètres.
- Défi
Dans ce module, vous réfléchirez à la manière dont les demandes en énergie de l'IA se croisent avec les questions d'accès, d'équité, et de justice environnementale en Afrique, en pesant à la fois les avantages potentiels et les risques. Dans l'activité de défi, vous développerez cette réflexion en concevant un plan de durabilité pour votre propre projet LLM, assurant ainsi son alignement avec des principes d'équité, de responsabilité, et de justice énergétique.
- Continuez votre parcours
Dans ce module, vous aurez l'opportunité de consulter des ressources supplémentaires et des lectures complémentaires pour approfondir les sujets que vous avez couverts. Enfin, vous envisagerez vos prochaines étapes et comment vous pouvez tirer parti de ce que vous avez appris au cours.
Enseigné par
Google Cloud
Matières
Computer Science
