Resumen
AI Security:
Risks, Defences and Safety | Defend the Future of Intelligence. As artificial intelligence becomes embedded in everything from critical infrastructure to everyday applications, a new frontier of cyber risk has emerged.
From adversarial attacks to backdoor exploits, AI systems are now prime targets, and powerful tools, in the hands of threat actors. Secure the Systems That Learn AI Security is your essential guide to defending intelligent systems.
Developed by Macquarie University’s Cyber Skills Academy, ranked in the top 1% of universities globally and recognised as Australia’s leading cyber security school, this course has been co-designed with global tech leaders to ensure alignment with emerging threats and international standards. Whether you’re a cyber security professional, developer, data scientist, or policy leader, this course equips you to detect, prevent, and respond to the security risks unique to AI.
Through deep, applied learning across six core modules, you’ll gain real-world skills to:
• Understand AI systems, their architecture, and the security risks that arise from adversarial inputs, model poisoning, and data leakage. • Assess and mitigate AI-driven cyber-physical risks in Operational Technology (OT) and Industrial Control Systems (ICS). • Navigate threats in real-world AI deployments—from deepfakes and misinformation to ethical misuse and privacy violations. • Apply security testing strategies and technical controls, including encryption, red/purple/blue team exercises, and robustness benchmarking. • Align AI systems with frameworks for Responsible AI, covering fairness, transparency, regulatory compliance, and trust. • Look ahead to the evolving risks posed by Artificial General Intelligence (AGI) and deploy proactive defences for the next generation of AI. AI Is the New Attack Surface AI is transforming everything, from how we work to how we’re attacked.
This course is built to prepare you for both. You’ll gain the technical fluency, ethical awareness, and strategic insight to secure AI across domains and industries.
Lead the defence. Anticipate what’s next.
Secure AI now.
Programa
- Introducción y Amenazas Emergentes de la IA
La Inteligencia Artificial (IA) está revolucionando industrias en todo el mundo, pero también está introduciendo un conjunto de amenazas de ciberseguridad en rápida evolución. A medida que los sistemas de IA se vuelven más complejos y profundamente integrados en las operaciones diarias, comprender sus principios fundamentales y riesgos emergentes es esencial. En este tema, explorarás los fundamentos de la IA, qué es, cómo funciona y cómo se está aplicando en diversos sectores. Aprenderás la diferencia entre los sistemas de IA impulsados por ingeniería y los modelos de aprendizaje profundo, y cómo cada uno introduce consideraciones de seguridad únicas. Desde allí, cambiamos el enfoque hacia el nuevo y emergente panorama de amenazas: la IA adversarial, la manipulación de modelos, los deepfakes, las estafas impulsadas por IA y la utilización de la IA para la desinformación. Construirás una base esencial tanto en marcos de seguridad tradicionales como en riesgos específicos de la IA, estableciendo el escenario para una exploración más profunda de la seguridad de las aplicaciones de IA durante el resto del curso. Prepárate para explorar la línea frontal de los desafíos de seguridad de la IA y comprender la urgencia de construir sistemas de IA confiables, robustos y defendibles.
- Ataques a ICS (Sistemas de Control Industrial) / OT (Tecnología Operativa) en el contexto de Ataques de Seguridad Tradicionales
A medida que la IA se integra cada vez más en la infraestructura crítica y los sistemas industriales, trae consigo nuevas capas de complejidad y nuevas vías de ataque. En este tema, explorarás cómo la Inteligencia Artificial está remodelando el panorama de seguridad de los Sistemas de Control Industrial (ICS) y la Tecnología Operativa (OT), y qué significa esto para los defensores que trabajan en entornos de alto riesgo e impacto. Comenzamos examinando cómo se aplica la IA en ICS y OT, mejorando la eficiencia operativa, la automatización y el mantenimiento predictivo. Pero con la innovación viene el riesgo: la IA introduce nuevas vulnerabilidades, desde la manipulación impulsada por IA de sistemas ciber-físicos hasta vectores de ataque emergentes en infraestructura crítica como redes eléctricas y líneas de fabricación. A través de estudios de caso del mundo real, investigarás cómo los adversarios explotan la IA en entornos industriales y cómo las prácticas tradicionales de OpSec y DevSecOps deben adaptarse para asegurar implementaciones habilitadas por IA. También aprenderás a identificar componentes sensibles dentro de las canalizaciones de IA y aplicar defensas específicas del contexto según el sector, ya sea en aplicaciones de grado militar, entornos industriales o productos de consumo. La IA está impulsando el futuro de la industria. Aquí, aprenderás a defenderlo.
- Seguridad de la IA y Riesgos para las Aplicaciones de la Vida Real
A medida que los sistemas de IA pasan de modelos experimentales a despliegues en el mundo real, su exposición a amenazas adversariales y mal uso aumenta drásticamente. En este tema, exploraremos cómo se atacan y explotan prácticamente los sistemas de IA, y por qué asegurar estos sistemas es ahora un foco crítico para los profesionales de la ciberseguridad. Ahondarás en los mecanismos de vectores de ataque específicos de la IA como el envenenamiento de modelos, la fuga de información, el robo de modelos y las brechas posteriores. Estas amenazas no solo comprometen el rendimiento de los modelos de IA, sino que también representan serios riesgos para la privacidad de los datos, la propiedad intelectual y la seguridad del usuario. También examinaremos las implicaciones de las salidas perjudiciales de la IA, ya sea que surjan de modelos mal alineados, datos de entrenamiento sesgados o manipulación deliberada. Aprenderás cómo los desafíos como la alineación de salidas, la censura ética y la vigilancia impulsada por IA afectan tanto la confianza pública como el cumplimiento legal. Al analizar estudios de caso y escenarios del mundo real, este tema agudizará tu capacidad para identificar vulnerabilidades en los sistemas de IA y comprender las consecuencias societales más amplias de las implementaciones inseguras. La IA ya está dando forma al mundo; este tema ayuda a garantizar que lo haga de manera segura y responsable.
- Defensas (Controles de IA) y Pruebas de Seguridad de IA
A medida que los sistemas de IA se vuelven más poderosos e integrados en operaciones críticas, defenderlos contra amenazas emergentes ya no es opcional: es una misión crítica. En este tema, explorarás los controles técnicos y las estrategias de prueba utilizadas para asegurar modelos de IA y protegerlos contra compromisos. Aprenderás cómo aplicar defensas específicas de la IA, desde el diseño seguro de algoritmos hasta técnicas de preservación de la privacidad como la privacidad diferencial. También examinarás cómo probar y validar la robustez de los modelos de IA utilizando enfoques de equipo rojo, púrpura y azul. Con un enfoque en equilibrar seguridad, utilidad y rendimiento, este tema te capacita para hacer compensaciones informadas en entornos de alto riesgo. Ya sea que estés construyendo o auditando sistemas de IA, adquirirás las habilidades prácticas necesarias para implementar controles confiables y probar rigurosamente la resistencia contra amenazas del mundo real.
- IA Responsable, Regulación y Gobernanza
A medida que los sistemas de IA crecen en influencia y complejidad, también lo hace el imperativo de asegurar que estén diseñados, implementados y gobernados de manera responsable. Este tema introduce los principios fundamentales de la IA Responsable, cubriendo equidad, mitigación de sesgos, transparencia y responsabilidad ética. Explorarás cómo las decisiones de la IA pueden impactar a individuos y comunidades, y cómo navegar por las compensaciones entre privacidad del usuario, rendimiento del modelo y transparencia. Se desglosarán desafíos clave como la obtención de datos, el etiquetado y las implicaciones éticas de los modelos a gran escala, junto con estrategias prácticas para mejorar la confianza en los sistemas de IA. También profundizaremos en los marcos globales, políticas y modelos de gobernanza que apoyan la adopción segura y ética de la IA, equipándote con el conocimiento para asegurar que los sistemas de IA no solo sean funcionales, sino también justos, transparentes y alineados con las expectativas regulatorias.
- El Futuro de la IA: Una Mirada Adelante
La IA está evolucionando rápidamente, y con ello, el alcance y la complejidad de sus desafíos de seguridad. En este tema final, dirigimos nuestra atención hacia el futuro: examinando cómo las aplicaciones emergentes y las arquitecturas darán forma a la próxima frontera de la seguridad de la IA. Explorarás usos especulativos pero cada vez más plausibles de la IA en sectores como la salud, vehículos autónomos y programación, desglosando los riesgos únicos que presenta cada caso de uso. También introduciremos la Inteligencia Artificial General (IAG), examinando su potencial transformador junto con las profundas implicaciones de seguridad y éticas que puede conllevar. Desde modelos de IA ligeros para dispositivos con restricciones hasta perspectivas filosóficas sobre compensaciones de seguridad, este tema te anima a pensar de manera crítica y proactiva. El objetivo: equiparte con el conocimiento y la anticipación necesarios para prever riesgos futuros, influir en la innovación responsable y contribuir a la evolución segura de los sistemas inteligentes.
Impartido por
Matt Bushby
Materias
Information Security (InfoSec)
