El Agente Doble: Cambiando el Comportamiento de un Agente de GenAI de Servir a una Aplicación a Atacarla usando Promptwares

Resumen

Explore los ataques de PromptWare que pueden manipular agentes de GenAI desde servir aplicaciones hasta atacarlas, incluyendo exploits de DoS y amenazas avanzadas de PromptWare que realizan reconocimiento y ejecutan actividades maliciosas.

Programa de estudio

• Introducción a GenAI y Arquitecturas de Agentes
Visión general de los Agentes de IA Generativa
Rol de los Agentes de IA en las Aplicaciones
Fundamentos del Comportamiento y Seguridad de los Agentes de IA
• Comprensión de PromptWare
Definición e Historia de PromptWare
Tipos de PromptWare: Benigno vs. Malicioso
Características y Capacidades Clave de PromptWare
• Vulnerabilidades en Agentes GenAI
Vulnerabilidades Comunes en Modelos de IA
Estudios de Caso de Explotaciones de Sistemas de IA
Modelos de Amenazas para Agentes GenAI
• Ataques PromptWare: De la Utilidad a la Amenaza
Mecanismos de Transición: Servir vs. Atacar
Metodologías para Cambiar el Comportamiento del Agente
Estudio de Caso: Ataques Conocidos y Su Impacto
• Explotaciones de DoS usando PromptWare
Comprensión de Denegación de Servicio (DoS) en Sistemas de IA
Técnicas para Implementar DoS a través de PromptWare
Estrategias de Mitigación para Ataques DoS
• Amenazas Avanzadas de PromptWare
Reconocimiento y Exfiltración de Datos
Ejecución de Actividades Maliciosas
Ejemplos Reales de Amenazas Avanzadas
• Detección y Defensa Contra PromptWare
Técnicas para Identificar PromptWare Malicioso
Diseño de Defensas Robustas para Agentes de IA
Estudio de Caso: Implementaciones de Defensa Exitosas
• Consideraciones Éticas y Legales
Ética en el Uso de PromptWare
Implicaciones Legales de las Explotaciones de Seguridad de IA
Desarrollo de Sistemas de IA Responsables
• Tendencias Futuras y Direcciones de Investigación
Amenazas Emergentes en Seguridad de IA
Avances en Mecanismos de Defensa de IA
Oportunidades para la Investigación e Innovación
• Conclusión y Cierre del Curso
Resumen de Aprendizajes Clave
Discusión Abierta sobre el Futuro de la Seguridad de IA
Recursos para el Aprendizaje e Investigación Continuados

Asignaturas

Informática