Los agentes superinteligentes plantean riesgos catastróficos - LLMs con seguridad garantizada

Resumen

Join us in examining the significant risks associated with superintelligent AI agents. With insights from Yoshua Bengio, this discussion highlights a revolutionary approach to AI development:

the creation of the 'Scientist AI.' This non-agentic model is designed to prioritize explanation over action, thereby accelerating scientific research while mitigating potential dangers linked to agency in AI systems.

This event offers valuable insights for anyone interested in artificial intelligence and its implications for both scientific progress and human safety.

Engage with the content on YouTube and explore how this new paradigm in AI can help secure a safer technological future.

Programa

• Introducción a la IA Superinteligente
Definición y características de los agentes superinteligentes
Contexto histórico y desarrollos
Capacidades actuales y potenciales
• Riesgos catastróficos de los agentes superinteligentes
Problema de alineación y desafíos de control
Escenarios de IA desalineada
Estudios de caso y modelos teóricos
• Panorama de la investigación en seguridad de IA
Conceptos clave en seguridad de IA
Enfoques existentes y sus limitaciones
Implicaciones éticas y sociales
• Concepto de "IA Científica" de Yoshua Bengio
Visión general de los modelos de IA no agenciales
Comparación con IAs agenciales
Beneficios potenciales para avances científicos
• Diseño de LLMs con garantía de seguridad
Principios para el diseño seguro de LLMs
Asegurando explicabilidad y transparencia
Mecanismos para evitar la agencia no deseada
• Implementaciones prácticas y estudios de caso
Casos de uso exitosos de IAs no agenciales
Lecciones aprendidas de implementaciones pasadas
Caminos para una adopción más amplia
• Críticas y limitaciones
Potenciales desventajas de la "IA Científica"
Abordar a los críticos y continuar el debate
• Direcciones futuras y oportunidades de investigación
Tendencias emergentes en seguridad de IA
Posibles colaboraciones y esfuerzos comunitarios
Desarrollo de directrices para la investigación y despliegue seguro de IA
• Conclusión
Resumen de los principales conocimientos
Reflexionando sobre el camino a seguir para los innovadores de IA segura

---

Materias

Computer Science