Evaluación del riesgo de que los agentes avanzados de aprendizaje por refuerzo causen la extinción humana.

Resumen

Únase a nosotros en una sesión esclarecedora mientras Michael Cohen de UC Berkeley examina los peligros potenciales que los agentes avanzados de aprendizaje por refuerzo podrían implicar para la existencia humana. Esta exploración en profundidad busca comprender cómo tales tecnologías de inteligencia artificial podrían involuntariamente llevar a resultados catastróficos, incluido el riesgo de extinción humana.

Participe con perspectivas de expertos y amplíe su comprensión de las implicaciones en los campos de la Inteligencia Artificial y la Ciencia de la Computación.

Programa de estudio

• Introducción al Aprendizaje por Refuerzo
Visión general del Aprendizaje por Refuerzo
Conceptos Clave: Agentes, Entornos y Recompensas
Tipos de Aprendizaje por Refuerzo: Sin Modelo vs. Con Modelo
• Sistemas Avanzados de Aprendizaje por Refuerzo
Algoritmos de Vanguardia
Capacidades y Limitaciones
Estudios de Caso de Aplicaciones Actuales
• Riesgos Teóricos de la AGI (Inteligencia General Artificial)
Definición de AGI y su Potencial
Perspectivas Históricas sobre el Riesgo de la IA
La Tesis de Ortogonalidad y la Convergencia Instrumental
• Evaluación de Riesgos Catastróficos
Definición de Escenarios de Extinción Humana
Marcos de Análisis de Riesgo
Posibles Vías de Riesgo en Aprendizaje por Refuerzo
• Perspectivas de Michael Cohen sobre el Riesgo de APR
Puntos Clave de la Investigación de Cohen
Implicaciones para el Desarrollo Futuro de la IA
Críticas y Puntos de Vista Contrarios
• Estrategias de Mitigación
Enfoques Técnicos: Control y Alineación
Medidas de Política y Gobernanza
Consideraciones Éticas y Colaboración Global
• Estudios de Caso
Análisis de Casos Hipotéticos
Lecciones Aprendidas de Despliegues Previos de IA
Diseño de Sistemas Seguros Impulsados por APR
• Proyecto del Curso
Evaluación de Riesgo de un Sistema de APR Propuesto
Presentación de los Resultados
Revisión por Pares y Discusión
• Conclusión
Resumen de Conceptos Clave
Preguntas Abiertas y Direcciones Futuras de Investigación
Recursos para Estudio Adicional
• Lecturas y Recursos Recomendados
Artículos Académicos de Michael Cohen
Textos Fundamentales sobre la Seguridad de la IA
Recursos Multimedia Adicionales

---

Asignaturas

Ciencias de la Computación