Resumen
This course is designed for data scientists, machine learning practitioners, and graduate students who want to understand how to evaluate and select models reliably in real-world applications. It is particularly relevant for learners working with predictive models who need to ensure their results generalise beyond the training data.
You’ll learn the statistical foundations behind performance estimation and gain hands-on experience with essential techniques such as cross-validation, model selection, and nested resampling. By the end of the course, you’ll be equipped to design robust evaluation workflows and make confident, evidence-based modeling decisions.
Programa
- Evaluación del rendimiento en datos
En el primer módulo, se describen los conceptos básicos de la evaluación del rendimiento de predicción de sistemas basados en inteligencia artificial sobre una muestra de datos. Se explica de manera intuitiva por qué y bajo qué condiciones se puede esperar que la evaluación de rendimiento sobre una muestra funcione en primer lugar. En primer lugar, se presenta la suposición fundamental de que la muestra es independiente e idénticamente distribuida. Dada la suposición, se describe cómo la estimación del rendimiento en la muestra converge hacia el verdadero rendimiento en función del tamaño de la muestra, un fenómeno conocido como la ley de los grandes números. Por último, se demuestra brevemente cómo la velocidad de la convergencia mencionada depende de las propiedades de la distribución de los datos y en qué casos puede volverse imprácticamente lenta o ni siquiera ocurrir.
- Fundamentos del aprendizaje automático supervisado
En este módulo, se presenta una interpretación de los métodos de aprendizaje automático supervisado simplemente como mapeos abstractos de una muestra de datos a una hipótesis predictiva. Como un caso especial importante que abarca sorprendentemente una gran parte de los algoritmos de aprendizaje, consideramos métodos que seleccionan una hipótesis óptima basada en una medida dada de qué tan bien las hipótesis se ajustan a una muestra de datos. La medida puede ser simplemente una medida directa de rendimiento de predicción de una hipótesis en la muestra, como la precisión de clasificación o el error de regresión. Sin embargo, también puede ser algo más complicado y aparentemente más distante del objetivo de aprendizaje, como una función que mide la distancia de las particiones de Voronoi de los puntos de muestra, como en el caso de los métodos de vecino más cercano que consideramos como ejemplos de métodos. Además, el método de selección de modelos basado en remuestreo y validación cruzada considerado en el tercer módulo también son ejemplos de este marco. Se revisa el concepto de la ley de los grandes números y se consideran las llamadas condiciones de diferencias acotadas bajo las cuales se sostiene para medidas de rendimiento arbitrarias en una muestra de datos.
- Evaluación del rendimiento con validación cruzada
En este módulo, se consideran técnicas de remuestreo para la evaluación del rendimiento, como dividir la muestra en partes de conjunto de entrenamiento y de prueba, así como su variación promediada conocida como validación cruzada. Además, se consideran métodos para la selección de modelos, incluida la selección de valores de hiperparámetros, subconjuntos de características o algoritmos de aprendizaje, basados en los enfoques de remuestreo. Se observa que este tipo de selección de modelos es en sí misma un algoritmo de aprendizaje en el mismo sentido que los métodos que seleccionan la hipótesis óptima según alguna medida de rendimiento consideradas en el segundo módulo, siendo la medida de rendimiento en este caso el método de remuestreo. Por lo tanto, para medir el rendimiento de predicción esperado de las hipótesis obtenidas por este tipo de selector de modelos, se tienen que usar técnicas de remuestreo en el propio selector de modelos, resultando en métodos de remuestreo anidados que incluyen dividir la muestra en partes de entrenamiento, validación y prueba, así como validación cruzada anidada.
Impartido por
Jonne Pohjankukka and Asja Kamenica
Materias
Business
