Evaluación del riesgo de que los agentes avanzados de aprendizaje por refuerzo causen la extinción humana.

Resumen

Join us for an enlightening session as Michael Cohen from UC Berkeley examines the potential dangers that advanced reinforcement learning agents might entail for human existence. This in-depth exploration seeks to understand how such AI technologies could inadvertently lead to catastrophic outcomes, including the risk of human extinction.

Engage with expert insights and broaden your understanding of the implications in the fields of Artificial Intelligence and Computer Science.

Programa

• Introducción al Aprendizaje por Refuerzo
Visión general del Aprendizaje por Refuerzo
Conceptos Clave: Agentes, Entornos y Recompensas
Tipos de Aprendizaje por Refuerzo: Sin Modelo vs. Con Modelo
• Sistemas Avanzados de Aprendizaje por Refuerzo
Algoritmos de Vanguardia
Capacidades y Limitaciones
Estudios de Caso de Aplicaciones Actuales
• Riesgos Teóricos de la AGI (Inteligencia General Artificial)
Definición de AGI y su Potencial
Perspectivas Históricas sobre el Riesgo de la IA
La Tesis de Ortogonalidad y la Convergencia Instrumental
• Evaluación de Riesgos Catastróficos
Definición de Escenarios de Extinción Humana
Marcos de Análisis de Riesgo
Posibles Vías de Riesgo en Aprendizaje por Refuerzo
• Perspectivas de Michael Cohen sobre el Riesgo de APR
Puntos Clave de la Investigación de Cohen
Implicaciones para el Desarrollo Futuro de la IA
Críticas y Puntos de Vista Contrarios
• Estrategias de Mitigación
Enfoques Técnicos: Control y Alineación
Medidas de Política y Gobernanza
Consideraciones Éticas y Colaboración Global
• Estudios de Caso
Análisis de Casos Hipotéticos
Lecciones Aprendidas de Despliegues Previos de IA
Diseño de Sistemas Seguros Impulsados por APR
• Proyecto del Curso
Evaluación de Riesgo de un Sistema de APR Propuesto
Presentación de los Resultados
Revisión por Pares y Discusión
• Conclusión
Resumen de Conceptos Clave
Preguntas Abiertas y Direcciones Futuras de Investigación
Recursos para Estudio Adicional
• Lecturas y Recursos Recomendados
Artículos Académicos de Michael Cohen
Textos Fundamentales sobre la Seguridad de la IA
Recursos Multimedia Adicionales

---

Materias

Computer Science