Criação de modelos de linguagem na AWS (Português) | Building Language Models on AWS (Portuguese)

Aperçu

Amazon SageMaker aide les data scientists à préparer, créer, entraîner, déployer et surveiller des modèles de Machine Learning (ML). SageMaker regroupe un large éventail de capacités, y compris l'accès à des bibliothèques d'entraînement distribué, des modèles open source et des modèles de base (FMs).

Ce cours présente aux data scientists expérimentés les défis de la construction de modèles de langage et les différentes options de stockage, ingestion et entraînement pour traiter un grand corpus de texte. Le cours aborde également les défis de déploiement de modèles volumineux et de personnalisation de modèles de base pour des tâches d'intelligence artificielle générative (IA générative) en utilisant Amazon SageMaker Jumpstart.

• Niveau du cours :

  avancé

• Durée :

  5 heures et demie

Remarque :

Ce cours comprend des transcriptions/sous-titres traduits.

La narration est en anglais. Pour afficher les sous-titres, cliquez sur le bouton CC en bas à droite du lecteur.

Activités

Ce cours comprend des instructions par texte, des graphiques illustratifs, des tests de connaissances et des démonstrations vidéo de laboratoires que vous pouvez réaliser dans votre propre compte Amazon Web Services (AWS).

Objectifs du cours

Après avoir suivi ce cours, les data scientists pourront créer, entraîner et optimiser des modèles de langage efficaces sur AWS en utilisant SageMaker.

Dans ce cours, vous apprendrez à :

• Appliquer les meilleures pratiques pour stocker et ingérer une grande quantité de données textuelles pour supporter l'entraînement distribué
• Explorer des bibliothèques de parallélisme de données et de modèles pour supporter l'entraînement distribué sur SageMaker
• Expliquer les options disponibles sur SageMaker pour améliorer la performance de l'entraînement, telles que Amazon SageMaker Training Compiler et Elastic Fabric Adapter (EFA)
• Explorer des techniques d'optimisation pour les grands modèles de langage (LLM) pour un déploiement efficace du modèle
• Démontrer comment ajuster finement les modèles de base disponibles sur SageMaker Jumpstart

Public cible

Ce cours s'adresse aux rôles suivants :

• Data scientists
• Ingénieurs ML

Pré-requis

Nous recommandons que les participants à ce cours aient :

• Plus d'un an d'expérience en traitement du langage naturel (NLP)
• Plus d'un an d'expérience en entraînement et ajustement de modèles de langage
• Compétences intermédiaires en programmation Python
• Éléments techniques essentiels d'AWS
• Amazon SageMaker Studio pour data scientists

Contenu du cours

Introduction à la série de cours

• Introduction à la création de modèles de langage sur AWS

Aborder les défis de la création de modèles de langage

• Défis courants des professionnels des LLM
• Échelle des LLMs avec entraînement distribué
• Comment appliquer des techniques de parallélisme de données
• Comment appliquer des techniques de parallélisme de modèles
• Techniques d'optimisation de la performance
• Comment utiliser l'infrastructure spécifique

Comment utiliser Amazon SageMaker pour entraîner des modèles de langage

• Notions de base de SageMaker
• Configuration

  ---

  Sujets