Criação de modelos de linguagem na AWS (Português) | Building Language Models on AWS (Portuguese)

Overview

O Amazon SageMaker ajuda data scientists a preparar, criar, treinar, implantar e monitorar modelos de Machine Learning (ML). O SageMaker reúne um conjunto amplo de capacidades, incluindo acesso a bibliotecas de treinamento distribuído, modelos de código aberto e modelos de base (FMs). Este curso apresenta data scientists experientes aos desafios de construir modelos de linguagem e às diferentes opções de armazenamento, ingestão e treinamento para processar um grande corpus de texto. O curso também aborda os desafios de implantar modelos grandes e personalizar modelos de base para tarefas de inteligência artificial generativa (IA generativa) usando o Amazon SageMaker Jumpstart.

• Nível do curso: avançado
• Duração: 5 horas e meia

Observação: Este curso tem transcrições/legendas traduzidas. A narração está em inglês. Para exibir as legendas, clique no botão CC no canto inferior direito do player.

Atividades

Este curso inclui instruções por texto, gráficos ilustrativos, teste de conhecimento e demonstrações em vídeo de laboratórios que você pode executar em sua própria conta da Amazon Web Services (AWS).

Objetivos do curso

Depois de concluir este curso, os data scientists podem criar, treinar e ajustar modelos de linguagem eficientes na AWS usando o SageMaker.

Neste curso, você aprenderá a:

• Aplicar as práticas recomendadas para armazenar e ingerir uma grande quantidade de dados de texto para suportar o treinamento distribuído
• Explorar bibliotecas de paralelismo de dados e paralelismo de modelo para suportar o treinamento distribuído no SageMaker
• Explicar as opções disponíveis no SageMaker para melhorar o desempenho do treinamento, como o Amazon SageMaker Training Compiler e o Elastic Fabric Adapter (EFA)
• Explorar técnicas de otimização para grandes modelos de linguagem (LLM) para uma implantação eficaz do modelo
• Demonstrar como ajustar fino modelos de base disponíveis no SageMaker Jumpstart

Público-alvo

Este curso se destina às seguintes funções:

• Data scientists
• Engenheiros de ML

Pré-requisitos

Recomendamos que os participantes deste curso tenham:

• Mais de um ano de experiência com processamento de linguagem natural (PLN)
• Mais de um ano de experiência com treino e ajuste de modelos de linguagem
• Proficiência em nível intermediário em programação em linguagem Python
• Elementos técnicos essenciais da AWS
• Amazon SageMaker Studio para data scientists

Conteúdo do curso

Introdução à série de cursos

• Introdução à criação de modelos de linguagem na AWS

Abordagem dos desafios na criação de modelos de linguagem

• Desafios comuns dos profissionais de LLM
• Scaling de LLMs com treinamento distribuído
• Como aplicar técnicas de paralelismo de dados
• Como aplicar técnicas de paralelismo de modelo
• Técnicas de otimização de desempenho
• Como usar a infraestrutura com propósito específico

Como usar o Amazon SageMaker para treinar modelos de linguagem

• Noções básicas do SageMaker
• Configuração de domínio do SageMaker Studio
• Como escolher tipos de instâncias de computação
• Noções básicas do SageMaker Python SDK
• Treinamento

  Syllabus

  ---

  Taught by

  ---

  Tags

  united states