to build and deploy customized LLMs. Learn to fine-tune open-source LLMs on proprietary data and deploy your customized LLM models using AWS SageMaker and Streamlit.Fine-tune open-source LLMs for custom business purposesDeploy and scale models for enterprise purposes using AWS SageMaker and StreamlitUnderstand and implement QLoRA from theory to codeLearn to preprocess proprietary datasets with chunking, tokenization, and attention maskingMonitor training and performance to ensure optimal business resultsManage cloud resources and optimize for costApply advanced AI engineering techniques including quantization and more
- Introduction
Introduction du cours (Ce que nous construisons)
Exercice : Rencontrez vos camarades de classe et votre instructeur
Ressources du cours
Plugin ZTM + Comprendre votre lecteur vidéo
Fixez votre objectif de série d'apprentissage
- Configuration de notre compte AWS
Connexion à AWS
Création d'un utilisateur IAM
Utilisation de notre nouvel utilisateur IAM
Que faire en cas de piratage ?
- Configuration de l'environnement AWS Sagemaker
Création d'un domaine SageMaker
Connexion à notre environnement SageMaker
Introduction à JupyterLab
Amusons-nous (+ plus de ressources)
- Collecte, découpage, tokenisation et téléchargement de notre jeu de données
Sessions Sagemaker, régions et rôles IAM
Examiner notre jeu de données de HuggingFace
Tokenisation et embeddings de mots
Authentification HuggingFace avec Sagemaker
Application de la fonction de templating à notre jeu de données
Masques d'attention et padding
Déballage d'étoiles avec Python
Exemple de Chain Iterator, constructeur de liste et masque d'attention avec Python
Comprendre le batch
Découpage et fractionnement de notre jeu de données
Création de notre fonction de fractionnement personnalisée
Tokenisation de notre jeu de données
Exécution de notre fonction de fractionnement
Compréhension de l'ensemble du processus de fractionnement
Téléchargement des données de formation vers AWS S3
Point de contrôle du cours
- Comprendre LoRA et configurer HuggingFace Estimator
Configuration des hyperparamètres pour la tâche d'entraînement
Création de notre HuggingFace Estimator dans Sagemaker
Introduction à l'adaptation basse-rang (LoRA)
Exemple numérique LoRA
Résumé de LoRA et calcul d'économie des coûts
(Optionnel) Rappel de multiplication matricielle
Compréhension programmatique de LoRA Partie 1
Compréhension programmatique de LoRA Partie 2
Mises à jour illimitées
- Améliorer la vitesse d'entraînement avec Bfloat16
Bfloat16 vs Float32
Comparaison Bfloat16 vs Float32 de manière programmatique
Implémenter un nouveau système de vie - à la fin de la 3e section
- Configuration du script de formation QLoRA avec précision mixte et double quantification
Mise en place des imports et bibliothèques pour le script de formation
Fonction d'analyse des arguments Partie 1
Fonction d'analyse des arguments Partie 2
Comprendre les nuances des paramètres entraînables
Introduction à la quantification
Identifier les couches entraînables pour LoRA
Configuration du réglage fin des paramètres efficace
Implémenter la configuration LoRA et la formation avec précision mixte
Compréhension de la double quantification
Création de la fonction de formation Partie 1
Création de la fonction de formation Partie 2
Exercice : Syndrome de l'imposteur
Finalisation de notre script Sagemaker
Accéder à des GPU puissants avec les quotas AWS
Derniers ajustements avant l'entraînement
- Exécution de notre script de réglage fin pour notre LLM
Lancement de notre tâche d'entraînement
Inspection des résultats de notre tâche d'entraînement et suivi avec Cloudwatch
- Déployer notre LLM réglé finement
Déploiement de notre LLM sur un point de terminaison Sagemaker
Test de notre LLM dans Sagemaker localement
Création de la fonction Lambda pour invoquer notre point de terminaison
Création de l'API Gateway pour déployer le modèle via Internet
Implémentation de notre application Streamlit
Correction de l'application Streamlit
- Nettoyage des ressources
Félicitations et nettoyage des ressources AWS
- Où aller à partir de maintenant ?
Merci !
Évaluez ce cours !
Devenez un alumni
Directive d'apprentissage
Événements ZTM chaque mois
Recommandations sur LinkedIn
