Building Language Models on AWS

via AWS Skill Builder

Aperçu

Amazon SageMaker permet aux data scientists de préparer, construire, entraîner, déployer et surveiller efficacement des modèles d'apprentissage automatique. Il propose une suite robuste de capacités, incluant l'utilisation de bibliothèques d'entraînement distribuées, de modèles open-source et de modèles de base. En particulier, ce cours avancé de 5,5 heures est conçu pour les data scientists expérimentés désireux de maîtriser la construction de modèles de langage en utilisant de grands corpus de textes. Le cours couvre le stockage, l'ingestion et les alternatives d'entraînement, les défis du déploiement et les méthodologies de personnalisation de modèles de base pour des tâches d'IA générative avec Amazon SageMaker Jumpstart.

Le cours fournit des aperçus pratiques à travers des instructions textuelles, des graphiques illustratifs, des vérifications des connaissances et des démonstrations vidéo pratiques que vous pouvez reproduire dans votre compte AWS. Vous apprendrez et appliquerez les meilleures pratiques pour le stockage et l'ingestion de données, explorerez le parallélisme des données et des modèles, discuterez des options d'amélioration de la performance comme le Compilateur de formation Amazon SageMaker et l'Adaptateur de tissu élastique, et plongerez dans les techniques d'optimisation pour les grands modèles de langage.

Appliquer les meilleures pratiques pour la gestion de données textuelles étendues pour la formation distribuée.
Comprendre et mettre en œuvre le parallélisme des données et des modèles pour améliorer l'efficacité de l'entraînement.
Explorer les options sur Amazon SageMaker pour booster la performance de l'entraînement.
Optimiser et déployer efficacement de grands modèles de langage.
Personnaliser les modèles de base sur SageMaker Jumpstart pour des tâches spécifiques de l'IA.

Ce cours est particulièrement bénéfique pour les data scientists et les ingénieurs en apprentissage automatique. Les participants sont censés avoir plus d'un an d'expérience en traitement du langage naturel et en entraînement et ajustement de modèles. Ils devraient également avoir une compréhension intermédiaire de la programmation Python, et être familiers avec les essentiels techniques d'AWS et Amazon SageMaker Studio.

À la conclusion de ce cours, les participants posséderont les compétences pour construire, entraîner et affiner des modèles de langage à haute performance sur AWS en utilisant SageMaker, établissant ainsi une base solide pour un apprentissage futur et une application dans des scénarios du monde réel.