Learn how Computer Vision models work, including Vision Transformers and Meta’s SAM, and how they power real-world image systems. Then put your knowledge into practice by deploying a scalable computer vision pipeline on AWS using production-ready tools and infrastructure.Understand how Vision Transformers process imagesBreak down attention math without the hand-wavingUse Meta’s SAM for prompt-based segmentationVisualize and evaluate segmentation outputsConnect detection models with segmentation pipelinesBuild scalable computer vision workflows in PythonDeploy vision systems on AWS infrastructureDesign production-ready AI pipelines for real products
- Introduction
Introduction
Ce que nous construisons
Exercice : Faites connaissance avec vos camarades de classe et votre instructeur
Ressources du cours
Plugin ZTM + Compréhension de votre lecteur vidéo
Fixez votre objectif de série d'apprentissage
- Mathématiques derrière les Vision Transformers
Vision Transformers vs Réseaux Neurones Convolutionnels
Opérations quadratiques
Introduction aux ViTs et entraînement conjoint avec des embeddings
Comprendre les mécanismes d'attention, résumé bref
Comprendre le pipeline complet de ViT
Amusons-nous (+ plus de ressources)
- Mathématiques derrière le modèle SAM de Meta (Segment Anything Model)
Introduction aux encodeurs de prompts pour SAM
Mode AutoPrompt de SAM
Mode clic manuel de SAM
Embeddings ViT à l'intérieur de SAM
Calcul du score d'attention pour les Vision Transformers dans SAM
Comment SAM est formé
Calcul de l'attention personnelle de prompt pour SAM
Attention croisée image-prompt
Attention croisée de l'image au prompt
(Optionnel) Finir l'exemple SAM Partie 1
(Optionnel) Finir l'exemple SAM Partie 2
Fin
Mises à jour illimitées
- Configuration de notre environnement AWS
Création de notre domaine SagemakerAI
Démarrage du domaine et compréhension des coûts
Installation des bibliothèques
Arrêt des instances et des serveurs
Vérification du cours
- Configuration de modèles open source comme le SAM de Meta
Téléchargement du modèle SAM de Meta
Mise à jour des autorisations IAM
Importation des bibliothèques
Compréhension de l'utilisation de Rekognition avec SAM
Définition de fonctions d'assistance
Clarification concernant les fonctions d'assistance
Détection et filtrage de Rekognition
Initialiser le modèle SAM à partir de S3
Fonction de traitement principale Partie 1
Fonction de traitement principale Partie 2
Exécution de la cellule de traitement principale
Mettre en œuvre un nouveau système de vie
- Visualisation de nos résultats
Visualisation des détections Rekognition
Visualiser tous les masques SAM
Visualisation des scores de qualité d'ajustement IOU Partie 1
Visualisation des scores de qualité d'ajustement IOU Partie 2
Visualisation des segmentations d'image avec des boîtes englobantes
Visualisation des masques et étiquettes sans boîtes englobantes
Visualisation des segmentations en masques noir et blanc
Exercice : Syndrome de l'imposteur
- Enregistrement des résultats sur S3
Enregistrement des métadonnées sur S3
Sauvegarder les images sur S3
Enregistrement de masques individuels sur S3
- Test + Configuration
Ajout d'un serveur GPU à notre carnet et quotas AWS
Test de notre pipeline complet
Corrections mineures
Mise en production + Nettoyage
- Où aller à partir d'ici ?
Merci !
Évaluez ce cours !
Devenez un alumni
Guide d'apprentissage
Événements ZTM chaque mois
Recommandations sur LinkedIn
