Agentes superinteligentes plantean riesgos catastróficos: LLMs con garantía de seguridad

Resumen

Explora los riesgos potencialmente catastróficos que presentan los agentes de IA superinteligentes con el experto Yoshua Bengio. En esta charla perspicaz, descubre alternativas innovadoras y más seguras como "Scientist AI", un enfoque centrado en explicar en lugar de actuar, con el objetivo de avanzar en el progreso científico mientras se mitigan los peligros asociados con entidades impulsadas por agencias.

Programa de estudio

• Introducción a la IA Superinteligente
Definición y características de los agentes superinteligentes
Contexto histórico y evolución de las capacidades de la IA
• Comprendiendo los Riesgos Catastróficos
Los peligros potenciales de los agentes superinteligentes
Estudios de caso sobre riesgos de la IA y dilemas éticos
• Seguridad en el Diseño de IA
Principios de sistemas de IA seguros
Enfoques para mitigar riesgos
• Alternativas a los Agentes Superinteligentes
Panorama de la "IA Científica"
Diferencias entre la IA orientada a la acción y la IA orientada a la explicación
• Estudio de Caso: Propuestas de Yoshua Bengio
Análisis de los marcos de Bengio para la seguridad en IA
Evaluación de la "IA Científica" en varios dominios
• Agencia y Acción en la IA
Los riesgos de la agencia en los sistemas de IA
Beneficios y limitaciones de minimizar la agencia
• Técnicas para LLMs con Seguridad Garantizada
Principios de diseño para modelos de lenguaje más seguros
Equilibrio entre autonomía y control
• Aceleración del Progreso Científico con IA
Roles potenciales de la IA en la investigación y el descubrimiento
Consideraciones éticas e impacto en la sociedad
• Direcciones Futuras en la Investigación de Seguridad en IA
Tendencias y tecnologías emergentes
Oportunidades para la innovación y colaboración
• Conclusión
Resumen de los conceptos clave
Principios orientadores para futuros desarrollos en IA

---

Asignaturas

Ciencias de la Computación