Agentes superinteligentes plantean riesgos catastróficos: LLMs con garantía de seguridad

Resumen

Explora los riesgos catastróficos de los agentes de IA superinteligente con Yoshua Bengio, quien propone alternativas más seguras como la "IA Científica" diseñada para explicar en lugar de actuar, lo cual podría acelerar el progreso científico mientras se evita el peligroso impulso dirigido por agentes…

Programa de estudio

• Introducción a la IA Superinteligente
Definición y características de los agentes superinteligentes
Contexto histórico y evolución de las capacidades de la IA
• Comprendiendo los Riesgos Catastróficos
Los peligros potenciales de los agentes superinteligentes
Estudios de caso sobre riesgos de la IA y dilemas éticos
• Seguridad en el Diseño de IA
Principios de sistemas de IA seguros
Enfoques para mitigar riesgos
• Alternativas a los Agentes Superinteligentes
Panorama de la "IA Científica"
Diferencias entre la IA orientada a la acción y la IA orientada a la explicación
• Estudio de Caso: Propuestas de Yoshua Bengio
Análisis de los marcos de Bengio para la seguridad en IA
Evaluación de la "IA Científica" en varios dominios
• Agencia y Acción en la IA
Los riesgos de la agencia en los sistemas de IA
Beneficios y limitaciones de minimizar la agencia
• Técnicas para LLMs con Seguridad Garantizada
Principios de diseño para modelos de lenguaje más seguros
Equilibrio entre autonomía y control
• Aceleración del Progreso Científico con IA
Roles potenciales de la IA en la investigación y el descubrimiento
Consideraciones éticas e impacto en la sociedad
• Direcciones Futuras en la Investigación de Seguridad en IA
Tendencias y tecnologías emergentes
Oportunidades para la innovación y colaboración
• Conclusión
Resumen de los conceptos clave
Principios orientadores para futuros desarrollos en IA

Asignaturas

Ciencias de la Computación