Pruebas de Modelos de Aprendizaje Automático

Resumen

Explore técnicas para probar modelos de ML/IA más allá de las métricas, centrándose en los comportamientos, la usabilidad y la equidad. Aprenda a identificar riesgos, sesgos y aplicar estrategias de prueba centradas en el usuario.

Programa de estudio

- Introducción a las pruebas de modelos de aprendizaje automático -- Resumen de métricas comunes en pruebas de aprendizaje automático -- Importancia de realizar pruebas más allá de las métricas - Comprensión de los comportamientos del modelo -- Análisis de las predicciones del modelo -- Identificación de comportamientos inesperados -- Estudios de caso de fallos de comportamiento en aprendizaje automático - Pruebas de usabilidad para modelos de aprendizaje automático -- Experiencia de usuario e interacción con sistemas de aprendizaje automático -- Técnicas para una evaluación centrada en el usuario -- Diseño de pruebas de usabilidad efectivas - Sesgo e imparcialidad en el aprendizaje automático -- Tipos de sesgos en los modelos de aprendizaje automático -- Herramientas y técnicas para la detección de sesgos -- Métodos para garantizar la imparcialidad - Identificación y mitigación de riesgos -- Riesgos comunes en modelos de aprendizaje automático -- Evaluación y priorización de riesgos -- Estrategias para la mitigación de riesgos - Estrategias de pruebas centradas en el usuario -- Incorporación de retroalimentación del usuario en las pruebas -- Desarrollo de personajes de usuario para pruebas -- Enfoques de prueba interdisciplinarios - Marcos de evaluación y estudios de caso -- Revisión de marcos de evaluación existentes -- Análisis de ejemplos del mundo real -- Lecciones aprendidas de estudios de caso - Herramientas y técnicas prácticas -- Resumen de herramientas de prueba para aprendizaje automático -- Práctica práctica con herramientas seleccionadas -- Mejores prácticas para la implementación de pruebas - Proyecto final -- Diseñar un plan integral de pruebas para un modelo de aprendizaje automático dado -- Aplicar las técnicas aprendidas para evaluar comportamientos, usabilidad e imparcialidad -- Presentar hallazgos y sugerencias de mejora - Conclusión y evaluación del curso -- Recapitulación de los aprendizajes clave -- Discusión abierta sobre desafíos emergentes en pruebas de aprendizaje automático -- Retroalimentación y reflexión sobre el curso

Enseñado por

Etiquetas