Explore techniques for testing ML/AI models beyond metrics, focusing on behaviors, usability, and fairness. Learn to identify risks, biases, and apply user-centric testing strategies.
- Introducción a las pruebas de modelos de aprendizaje automático
Resumen de métricas comunes en pruebas de aprendizaje automático
Importancia de realizar pruebas más allá de las métricas
- Comprensión de los comportamientos del modelo
Análisis de las predicciones del modelo
Identificación de comportamientos inesperados
Estudios de caso de fallos de comportamiento en aprendizaje automático
- Pruebas de usabilidad para modelos de aprendizaje automático
Experiencia de usuario e interacción con sistemas de aprendizaje automático
Técnicas para una evaluación centrada en el usuario
Diseño de pruebas de usabilidad efectivas
- Sesgo e imparcialidad en el aprendizaje automático
Tipos de sesgos en los modelos de aprendizaje automático
Herramientas y técnicas para la detección de sesgos
Métodos para garantizar la imparcialidad
- Identificación y mitigación de riesgos
Riesgos comunes en modelos de aprendizaje automático
Evaluación y priorización de riesgos
Estrategias para la mitigación de riesgos
- Estrategias de pruebas centradas en el usuario
Incorporación de retroalimentación del usuario en las pruebas
Desarrollo de personajes de usuario para pruebas
Enfoques de prueba interdisciplinarios
- Marcos de evaluación y estudios de caso
Revisión de marcos de evaluación existentes
Análisis de ejemplos del mundo real
Lecciones aprendidas de estudios de caso
- Herramientas y técnicas prácticas
Resumen de herramientas de prueba para aprendizaje automático
Práctica práctica con herramientas seleccionadas
Mejores prácticas para la implementación de pruebas
- Proyecto final
Diseñar un plan integral de pruebas para un modelo de aprendizaje automático dado
Aplicar las técnicas aprendidas para evaluar comportamientos, usabilidad e imparcialidad
Presentar hallazgos y sugerencias de mejora
- Conclusión y evaluación del curso
Recapitulación de los aprendizajes clave
Discusión abierta sobre desafíos emergentes en pruebas de aprendizaje automático
Retroalimentación y reflexión sobre el curso
