Aperçu
In this Google DeepMind course you will discover the mechanisms of the transformer architecture. In this Google DeepMind course you will discover the mechanisms of the transformer architecture.
You will investigate how transformer language models process prompts to make context-sensitive next-token predictions. Through practical activities you will explore the attention mechanism, visualize attention weights, and encounter advanced concepts like masked attention and multi-head attention.
You will also learn other techniques that are necessary to build neural networks that are well-suited to be used as language models. Finally, through activities on values, stakeholder mapping and community engagement, you will practice concrete tools for ensuring AI projects are developed with communities, not just for them.
Programme
- Introduction
Dans ce module, vous réfléchirez aux tokens d'une invite qui ont le plus grand impact sur la prédiction du token suivant. Vous visualiserez également les poids d'attention du modèle Gemma pour voir sur quels tokens le modèle s'appuie lors de la réalisation des prédictions. Enfin, vous explorerez comment les valeurs et perspectives communautaires façonnent le sens et l'impact des technologies d'IA.
- Le mécanisme d'attention
Dans ce module, vous implémenterez le mécanisme d'attention. Vous apprendrez comment ce mécanisme est utilisé pour combiner les informations des tokens individuels afin de créer des embeddings qui représentent l'information de l'ensemble d'une invite. Vous réfléchirez également à la façon dont les interactions humaines quotidiennes créent un sens partagé et renforcent des valeurs telles que la communauté, l'appartenance et le respect. De plus, vous envisagerez ce qui peut être perdu lorsque ces pratiques sont remplacées par des systèmes automatisés.
- Assembler un transformateur
Dans ce module, vous apprendrez les autres composants requis pour construire un modèle de transformateur. Vous examinerez l'importance d'ajouter des informations de position aux tokens et vous verrez de quels composants se compose un bloc de transformateur. Vous explorerez également le rôle joué par les perceptrons multicouches et la normalisation dans le bloc de transformateur. Enfin, vous suivrez une implémentation complète d'un modèle de langage transformateur et étudierez les paramètres qui font partie de chaque composant.
- Réflexion et pratique
Dans ce module, vous apprendrez les avantages et les inconvénients d'utiliser un modèle de transformateur et découvrirez des méthodes sophistiquées pour générer des textes avec des modèles de langage. De plus, vous réfléchirez à la façon dont des technologies comme les chatbots sont comprises différemment par différents groupes, révélant pourquoi un engagement significatif est essentiel pour éviter de renforcer les stéréotypes, d'approfondir les inégalités ou de négliger les valeurs sociales. Vous verrez comment, en reconnaissant des perspectives diverses, les développeurs peuvent concevoir une IA plus inclusive, équitable et réactive aux besoins de la communauté.
- Défi
Dans ce module, l'activité de cartographie des parties prenantes et des valeurs sociales vous aidera à identifier qui est affecté par votre projet, quelles valeurs leur importent, et comment leur influence façonne les résultats. Cela sera suivi par une mini-conception d'engagement qui vous guidera pour planifier des moyens simples et pratiques d'impliquer ces groupes afin que leurs perspectives façonnent significativement votre projet d'IA.
- Poursuivre votre parcours
Dans ce module, vous aurez l'opportunité de consulter des ressources supplémentaires et des lectures complémentaires pour approfondir les sujets que vous avez couverts. Enfin, vous envisagerez vos prochaines étapes et comment vous pouvez développer ce que vous avez appris au cours.
Enseigné par
Google Cloud
Matières
Computer Science
