Evaluación del riesgo de que los agentes avanzados de aprendizaje por refuerzo causen la extinción humana.

Resumen

Explore los posibles riesgos de que agentes avanzados de aprendizaje por refuerzo lleven a la extinción humana, con las ideas de Michael Cohen de UC Berkeley.

Programa de estudio

• Introducción al Aprendizaje por Refuerzo
Visión general del Aprendizaje por Refuerzo
Conceptos Clave: Agentes, Entornos y Recompensas
Tipos de Aprendizaje por Refuerzo: Sin Modelo vs. Con Modelo
• Sistemas Avanzados de Aprendizaje por Refuerzo
Algoritmos de Vanguardia
Capacidades y Limitaciones
Estudios de Caso de Aplicaciones Actuales
• Riesgos Teóricos de la AGI (Inteligencia General Artificial)
Definición de AGI y su Potencial
Perspectivas Históricas sobre el Riesgo de la IA
La Tesis de Ortogonalidad y la Convergencia Instrumental
• Evaluación de Riesgos Catastróficos
Definición de Escenarios de Extinción Humana
Marcos de Análisis de Riesgo
Posibles Vías de Riesgo en Aprendizaje por Refuerzo
• Perspectivas de Michael Cohen sobre el Riesgo de APR
Puntos Clave de la Investigación de Cohen
Implicaciones para el Desarrollo Futuro de la IA
Críticas y Puntos de Vista Contrarios
• Estrategias de Mitigación
Enfoques Técnicos: Control y Alineación
Medidas de Política y Gobernanza
Consideraciones Éticas y Colaboración Global
• Estudios de Caso
Análisis de Casos Hipotéticos
Lecciones Aprendidas de Despliegues Previos de IA
Diseño de Sistemas Seguros Impulsados por APR
• Proyecto del Curso
Evaluación de Riesgo de un Sistema de APR Propuesto
Presentación de los Resultados
Revisión por Pares y Discusión
• Conclusión
Resumen de Conceptos Clave
Preguntas Abiertas y Direcciones Futuras de Investigación
Recursos para Estudio Adicional
• Lecturas y Recursos Recomendados
Artículos Académicos de Michael Cohen
Textos Fundamentales sobre la Seguridad de la IA
Recursos Multimedia Adicionales

Asignaturas

Ciencias de la Computación