Prediction and Control with Function Approximation

University of Alberta via Coursera

Resumen

Embárcate en un viaje transformador con el curso "Predicción y Control con Aproximación de Funciones", ofrecido por la Universidad de Alberta a través de Coursera. Este currículum meticulosamente diseñado es perfecto para aquellos que buscan navegar las complejidades de espacios de estados grandes, de alta dimensión o potencialmente infinitos. Descubre cómo convertir la estimación de funciones de valor en un desafío de aprendizaje supervisado, aprovechando la aproximación de funciones para crear agentes que logren un equilibrio perfecto entre generalización y discriminación para optimizar recompensas.

Comienza con una exploración de cómo las metodologías de evaluación de políticas o predicción tradicionales como Monte Carlo y TD se adaptan a la aproximación de funciones. Sumérgete en las complejidades de la construcción de características para el Aprendizaje por Refuerzo (RL), y domina el aprendizaje de representación a través de redes neuronales y retropropagación. El curso culmina con un examen exhaustivo de los métodos de gradiente de política, ofreciendo una vía directa para aprender políticas sin la estimación de la función de valor. Participa en la resolución de dos tareas de control de estado continuo y desgrana las ventajas de los métodos de gradiente de política dentro de un marco de acción continua.

Este curso es una continuación del aprendizaje fundamental, asumiendo la competencia adquirida en los cursos iniciales. Los participantes deben estar bien versados en probabilidades y expectativas, álgebra lineal básica, cálculo básico y Python 3.0 (con al menos un año de experiencia), incluyendo la capacidad de implementar algoritmos a partir de pseudocódigo.

Al concluir tus estudios, obtendrás una comprensión matizada de cómo emplear técnicas de aprendizaje supervisado para la aproximación de la función de valor, comprender objetivos para la predicción bajo aproximación de funciones, e implementar TD con aproximación de funciones. Aprende los matices de los enfoques de base fija y de redes neuronales para la construcción de características, enfrenta nuevos desafíos de exploración introducidos por la aproximación de funciones, y diferencia entre las formulaciones de problemas de recompensa descontada y promedio para el control. Además, tendrás la oportunidad de aplicar Sarsa esperado y Q-learning con aproximación de funciones en tareas de control de estado continuo, entender los fundamentos de estimar políticas directamente a través de objetivos de gradiente de política, y experimentar con un método Actor-Crítico en un entorno de estado discreto.

Las categorías incluyen Cursos de Aprendizaje Automático, Cursos de Aprendizaje por Refuerzo y Cursos de Aprendizaje Supervisado, haciendo de este una experiencia educativa esencial para cualquiera que desee avanzar en su comprensión y capacidades en estos dominios.