Resumen
AI Security:
Risks, Defences and Safety | Defend the Future of Intelligence. As artificial intelligence becomes embedded in everything from critical infrastructure to everyday applications, a new frontier of cyber risk has emerged.
From adversarial attacks to backdoor exploits, AI systems are now prime targets, and powerful tools, in the hands of threat actors. Secure the Systems That Learn AI Security is your essential guide to defending intelligent systems.
Developed by Macquarie University’s Cyber Skills Academy, ranked in the top 1% of universities globally and recognised as Australia’s leading cyber security school, this course has been co-designed with global tech leaders to ensure alignment with emerging threats and international standards. Whether you’re a cyber security professional, developer, data scientist, or policy leader, this course equips you to detect, prevent, and respond to the security risks unique to AI.
Through deep, applied learning across six core modules, you’ll gain real-world skills to:
• Understand AI systems, their architecture, and the security risks that arise from adversarial inputs, model poisoning, and data leakage. • Assess and mitigate AI-driven cyber-physical risks in Operational Technology (OT) and Industrial Control Systems (ICS). • Navigate threats in real-world AI deployments—from deepfakes and misinformation to ethical misuse and privacy violations. • Apply security testing strategies and technical controls, including encryption, red/purple/blue team exercises, and robustness benchmarking. • Align AI systems with frameworks for Responsible AI, covering fairness, transparency, regulatory compliance, and trust. • Look ahead to the evolving risks posed by Artificial General Intelligence (AGI) and deploy proactive defences for the next generation of AI. AI Is the New Attack Surface AI is transforming everything, from how we work to how we’re attacked.
This course is built to prepare you for both. You’ll gain the technical fluency, ethical awareness, and strategic insight to secure AI across domains and industries.
Lead the defence. Anticipate what’s next.
Secure AI now.
Programa
- Introducción y Amenazas Emergentes de la IA
La Inteligencia Artificial (IA) está revolucionando las industrias en todo el mundo, pero también está introduciendo un conjunto de amenazas de ciberseguridad que evolucionan rápidamente. A medida que los sistemas de IA se vuelven más complejos y profundamente integrados en las operaciones cotidianas, entender sus principios fundamentales y los riesgos emergentes es esencial. En este tema, explorarás los fundamentos de la IA, qué es, cómo funciona y cómo se está aplicando en varios sectores. Aprenderás la diferencia entre los sistemas de IA impulsados por la ingeniería y los modelos de aprendizaje profundo, y cómo cada uno introduce consideraciones de seguridad únicas. A partir de ahí, cambiamos el enfoque hacia el nuevo y emergente panorama de amenazas: IA adversarial, manipulación de modelos, deepfakes, estafas impulsadas por IA y la utilización de la IA para la desinformación. Construirás una base esencial tanto en marcos de seguridad tradicionales como en riesgos específicos de IA, sentando las bases para una exploración más profunda de la seguridad de las aplicaciones de IA durante el resto del curso. Prepárate para explorar la primera línea de los desafíos de seguridad de la IA y entender la urgencia de construir sistemas de IA confiables, robustos y defendibles.
- Ataques ICS (Sistemas de Control Industrial) / OT (Tecnología Operativa) en el Contexto de Ataques de Seguridad Tradicional
A medida que la IA se integra cada vez más en infraestructuras críticas y sistemas industriales, trae consigo nuevas capas de complejidad y nuevas avenidas para los ataques. En este tema, explorarás cómo la Inteligencia Artificial está remodelando el panorama de seguridad de los Sistemas de Control Industrial (ICS) y la Tecnología Operativa (OT), y lo que esto significa para los defensores que trabajan en entornos de alto riesgo y alto impacto. Comenzamos examinando cómo se aplica la IA en los ICS y OT, mejorando la eficiencia operativa, la automatización y el mantenimiento predictivo. Pero con la innovación viene el riesgo: la IA introduce vulnerabilidades novedosas, desde la manipulación de sistemas ciberfísicos impulsada por IA hasta vectores de ataque emergentes en infraestructuras críticas como redes energéticas y líneas de manufactura. A través de estudios de casos del mundo real, investigarás cómo los adversarios explotan la IA en entornos industriales y cómo las prácticas tradicionales de OpSec y DevSecOps deben adaptarse para asegurar los despliegues habilitados por IA. También aprenderás a identificar componentes sensibles dentro de las cadenas de IA y a aplicar defensas contextualizadas según el sector, ya sea en aplicaciones de grado militar, entornos industriales o productos de consumo. La IA está impulsando el futuro de la industria. Aquí, aprenderás cómo defenderlo.
- Seguridad de la IA y Riesgos para Aplicaciones en el Mundo Real
A medida que los sistemas de IA transitan de modelos experimentales a despliegues en el mundo real, su exposición a amenazas adversariales y mal uso aumenta dramáticamente. En este tema, exploraremos cómo se están atacando y explotando las IA en la práctica, y por qué asegurar estos sistemas es ahora un enfoque crítico para los profesionales de ciberseguridad. Profundizarás en la mecánica de vectores de ataque específicos de la IA como el envenenamiento de modelos, la filtración de información, el robo de modelos y las puertas traseras explotables. Estas amenazas no solo comprometen el rendimiento de los modelos de IA, sino que también suponen serios riesgos para la privacidad de los datos, la propiedad intelectual y la seguridad del usuario. También examinaremos las implicaciones de salidas perjudiciales de la IA, ya sean de modelos mal alineados, datos de entrenamiento sesgados o manipulaciones deliberadas. Aprenderás cómo desafíos como la alineación de salidas, la censura ética y la vigilancia impulsada por IA afectan tanto la confianza pública como el cumplimiento legal. Al analizar estudios de casos y escenarios del mundo real, este tema afinará tu capacidad para identificar vulnerabilidades en los sistemas de IA y entender las consecuencias sociales más amplias de los despliegues inseguros. La IA ya está moldeando el mundo, este tema ayuda a asegurar que lo haga de manera segura y responsable.
- Defensas (Controles de IA) y Pruebas de Seguridad de la IA
A medida que los sistemas de IA se vuelven más poderosos e integrados en operaciones críticas, defenderlos contra amenazas emergentes ya no es opcional: es una misión crítica. En este tema, explorarás los controles técnicos y estrategias de prueba utilizados para asegurar los modelos de IA y protegerlos de compromisos. Aprenderás cómo aplicar defensas específicas de IA, desde el diseño seguro de algoritmos hasta técnicas de preservación de la privacidad como la privacidad diferencial. También examinarás cómo probar y validar la robustez de los modelos de IA usando enfoques de equipos rojos, morados y azules. Con un enfoque en equilibrar la seguridad, la utilidad y el rendimiento, este tema te capacita para tomar decisiones informadas en entornos de alto riesgo. Ya sea que estés construyendo o auditando sistemas de IA, obtendrás las habilidades prácticas necesarias para implementar controles confiables y probar rigurosamente la resiliencia contra amenazas del mundo real.
- IA Responsable, Regulación y Gobernanza
A medida que los sistemas de IA crecen en influencia y complejidad, también lo hace la necesidad imperiosa de asegurarse de que sean diseñados, desplegados y gobernados de manera responsable. Este tema introduce los principios fundamentales de la IA Responsable, cubriendo equidad, mitigación de sesgos, transparencia y responsabilidad ética. Explorarás cómo las decisiones de la IA pueden impactar a individuos y comunidades, y cómo navegar los compromisos entre la privacidad del usuario, el rendimiento del modelo y la transparencia. Se desglosarán desafíos clave como el origen de los datos, el etiquetado y las implicaciones éticas de modelos a gran escala, junto a estrategias prácticas para mejorar la confianza en los sistemas de IA. También profundizaremos en los marcos globales, políticas y modelos de gobernanza que apoyan la adopción segura y ética de la IA, equipándote con el conocimiento necesario para asegurar que los sistemas de IA no solo sean funcionales, sino también justos, transparentes y alineados con las expectativas regulatorias.
- El Futuro de la IA: Una Mirada al Porvenir
La IA está evolucionando rápidamente y con ella, el alcance y la complejidad de sus desafíos de seguridad. En este tema final, dirigimos nuestra atención hacia el futuro: examinando cómo las aplicaciones y arquitecturas emergentes darán forma a la próxima frontera de la seguridad de la IA. Explorarás usos especulativos pero cada vez más plausibles de la IA en sectores como la salud, vehículos autónomos y programación, desentrañando los riesgos únicos que cada caso de uso presenta. También introduciremos la Inteligencia General Artificial (AGI), examinando su potencial transformador junto a las profundas implicaciones de seguridad y éticas que puede conllevar. Desde modelos de IA ligeros para dispositivos con limitaciones hasta perspectivas filosóficas sobre compromisos de seguridad, este tema te anima a pensar de manera crítica y proactiva. El objetivo: equiparte con la perspicacia y capacidad de anticipación necesarias para prever riesgos futuros, influir en la innovación responsable y contribuir a la evolución segura de los sistemas inteligentes.
Impartido por
Matt Bushby
Materias
Information Security (InfoSec)
