Test des modèles d'apprentissage automatique

Aperçu

Explorez des techniques pour tester les modèles ML/IA au-delà des métriques, en vous concentrant sur les comportements, l'utilisabilité et l'équité. Apprenez à identifier les risques, les biais et à appliquer des stratégies de test centrées sur l'utilisateur.

Programme

- Introduction à l'évaluation des modèles d'apprentissage automatique -- Aperçu des métriques de test courantes pour l'AA -- Importance de tester au-delà des métriques - Comprendre les comportements des modèles -- Analyse des prévisions des modèles -- Identification des comportements inattendus -- Études de cas de défaillances comportementales en AA - Test d'utilisabilité pour les modèles d'apprentissage automatique -- Expérience utilisateur et interaction avec les systèmes d'AA -- Techniques pour une évaluation centrée sur l'utilisateur -- Concevoir des tests d'utilisabilité efficaces - Biais et équité dans l'apprentissage automatique -- Types de biais dans les modèles d'AA -- Outils et techniques pour la détection des biais -- Méthodes pour garantir l'équité - Identification et atténuation des risques -- Risques courants dans les modèles d'AA -- Évaluer et prioriser les risques -- Stratégies pour atténuer les risques - Stratégies de test centrées sur l'utilisateur -- Incorporer les retours des utilisateurs dans les tests -- Développer des personas d'utilisateur pour les tests -- Approches de test pluridisciplinaires - Cadres d'évaluation et études de cas -- Revue des cadres d'évaluation existants -- Analyse d'exemples réels -- Leçons tirées des études de cas - Outils pratiques et techniques -- Aperçu des outils de test pour l'AA -- Pratique concrète avec des outils sélectionnés -- Meilleures pratiques pour la mise en œuvre des tests - Projet de fin de formation -- Concevoir un plan de test complet pour un modèle d'AA donné -- Appliquer les techniques apprises pour évaluer les comportements, l'utilisabilité, et l'équité -- Présenter les conclusions et les suggestions d'amélioration - Conclusion et évaluation du cours -- Récapitulatif des apprentissages clés -- Discussion ouverte sur les défis émergents dans le test d'AA -- Retour et réflexion sur le cours

Enseigné par

Étiquettes