Aperçu
AI Security:
Risks, Defences and Safety | Defend the Future of Intelligence. As artificial intelligence becomes embedded in everything from critical infrastructure to everyday applications, a new frontier of cyber risk has emerged.
From adversarial attacks to backdoor exploits, AI systems are now prime targets, and powerful tools, in the hands of threat actors. Secure the Systems That Learn AI Security is your essential guide to defending intelligent systems.
Developed by Macquarie University’s Cyber Skills Academy, ranked in the top 1% of universities globally and recognised as Australia’s leading cyber security school, this course has been co-designed with global tech leaders to ensure alignment with emerging threats and international standards. Whether you’re a cyber security professional, developer, data scientist, or policy leader, this course equips you to detect, prevent, and respond to the security risks unique to AI.
Through deep, applied learning across six core modules, you’ll gain real-world skills to:
• Understand AI systems, their architecture, and the security risks that arise from adversarial inputs, model poisoning, and data leakage. • Assess and mitigate AI-driven cyber-physical risks in Operational Technology (OT) and Industrial Control Systems (ICS). • Navigate threats in real-world AI deployments—from deepfakes and misinformation to ethical misuse and privacy violations. • Apply security testing strategies and technical controls, including encryption, red/purple/blue team exercises, and robustness benchmarking. • Align AI systems with frameworks for Responsible AI, covering fairness, transparency, regulatory compliance, and trust. • Look ahead to the evolving risks posed by Artificial General Intelligence (AGI) and deploy proactive defences for the next generation of AI. AI Is the New Attack Surface AI is transforming everything, from how we work to how we’re attacked.
This course is built to prepare you for both. You’ll gain the technical fluency, ethical awareness, and strategic insight to secure AI across domains and industries.
Lead the defence. Anticipate what’s next.
Secure AI now.
Programme
- Introduction et Menaces Émergentes de l'IA
L'Intelligence Artificielle (IA) révolutionne les industries à travers le monde, mais elle introduit également une série de menaces en cybersécurité qui évoluent rapidement. Alors que les systèmes d'IA deviennent plus complexes et profondément ancrés dans les opérations quotidiennes, comprendre leurs principes fondamentaux et les risques émergents est essentiel. Dans ce sujet, vous explorerez les fondamentaux de l'IA, ce qu'elle est, comment elle fonctionne et comment elle est appliquée à travers les secteurs. Vous apprendrez la différence entre les systèmes d'IA dérivés d'ingénierie et les modèles d'apprentissage profond, et comment chacun présente des considérations de sécurité uniques. De là, nous nous concentrons sur le nouveau paysage des menaces émergentes : IA adversarielle, manipulation de modèles, deepfakes, escroqueries pilotées par l'IA et l'armement de l'IA pour la désinformation. Vous construirez une base essentielle à la fois dans les cadres de sécurité traditionnels et les risques spécifiques à l'IA, posant les bases pour une exploration plus approfondie de la sécurisation des applications d'IA tout au long du cours. Préparez-vous à explorer le front des défis de la sécurité de l'IA et à comprendre l'urgence de construire des systèmes d'IA fiables, robustes et défendables.
- Attaques sur les Systèmes de Contrôle Industriel (ICS) / Technologie Opérationnelle (OT) dans le contexte des Attaques de Sécurité Traditionnelles
Alors que l'IA est de plus en plus intégrée dans les infrastructures critiques et les systèmes industriels, elle apporte de nouvelles couches de complexité et de nouvelles voies d'attaque. Dans ce sujet, vous explorerez comment l'Intelligence Artificielle redéfinit le paysage de la sécurité des Systèmes de Contrôle Industriel (ICS) et de la Technologie Opérationnelle (OT), et ce que cela signifie pour les défenseurs travaillant dans des environnements à haut risque et à fort impact. Nous commençons par examiner comment l'IA est appliquée dans les ICS et l'OT, en améliorant l'efficacité opérationnelle, l'automatisation et la maintenance prédictive. Mais avec l'innovation vient le risque : l'IA introduit de nouvelles vulnérabilités, de la manipulation pilotée par l'IA des systèmes cyber-physiques à l'émergence de vecteurs d'attaque dans les infrastructures critiques telles que les réseaux énergétiques et les chaînes de fabrication. Grâce à des études de cas réelles, vous étudierez comment les adversaires exploitent l'IA dans les environnements industriels et comment les pratiques traditionnelles d'OpSec et de DevSecOps doivent être adaptées pour sécuriser les déploiements alimentés par l'IA. Vous apprendrez également à identifier les composants sensibles dans les pipelines d'IA et à appliquer des défenses spécifiques au contexte selon le secteur, que ce soit dans des applications de qualité militaire, des environnements industriels ou des produits de consommation. L'IA alimente l'avenir de l'industrie. Ici, vous apprendrez à le défendre.
- Sécurité de l'IA et Risques pour les Applications Réelles
Lorsque les systèmes d'IA passent de modèles expérimentaux à des déploiements réels, leur exposition aux menaces adversariales et à l'utilisation abusive augmente considérablement. Dans ce sujet, nous explorerons comment l'IA est attaquée et exploitée en pratique, et pourquoi sécuriser ces systèmes est maintenant un focus critique pour les professionnels de la cybersécurité. Vous plongerez dans les mécanismes des vecteurs d'attaque spécifiques à l'IA tels que l’empoisonnement des modèles, la fuite d’informations, le vol de modèles et les exploits de portes dérobées. Ces menaces compromettent non seulement la performance des modèles d'IA, mais posent également de sérieux risques pour la confidentialité des données, la propriété intellectuelle et la sécurité des utilisateurs.
- Défenses (Contrôles de l'IA) et Tests de Sécurité de l'IA
À mesure que les systèmes d'IA deviennent plus puissants et intégrés dans les opérations critiques, les défendre contre les menaces émergentes n'est plus facultatif, c'est essentiel. Dans ce sujet, vous examinerez les contrôles techniques et les stratégies de test utilisés pour sécuriser les modèles d'IA et les protéger contre les compromissions. Vous apprendrez comment appliquer des défenses spécifiques à l'IA, de la conception d'algorithmes sécurisés à des techniques de préservation de la confidentialité telles que la confidentialité différentielle. Vous examinerez également comment tester et valider la robustesse des modèles d'IA en utilisant des approches d'équipes rouges, pourpres et bleues. En mettant l'accent sur l'équilibrage de la sécurité, de l'utilité et de la performance, ce sujet vous permet de faire des compromis éclairés dans des environnements à haut enjeu. Que vous construisiez ou auditiez des systèmes d'IA, vous acquerrez les compétences pratiques nécessaires pour mettre en œuvre des contrôles de confiance et tester rigoureusement la résilience face aux menaces du monde réel.
- IA Responsable, Régulation et Gouvernance
Alors que les systèmes d'IA gagnent en influence et en complexité, l'impératif d'assurer qu'ils sont conçus, déployés et gouvernés de manière responsable grandit également. Ce sujet introduit les principes fondamentaux de l'IA Responsable, couvrant l'équité, la mitigation des biais, la transparence et la responsabilité éthique. Vous explorerez comment les décisions prises par l'IA peuvent impacter les individus et les communautés, et comment naviguer dans les compromis entre la confidentialité des utilisateurs, la performance des modèles et la transparence. Les défis clés tels que la provenance des données, l'étiquetage et les implications éthiques des modèles à grande échelle seront déballés, aux côtés de stratégies pratiques pour renforcer la confiance dans les systèmes d'IA. Nous plongerons également dans les cadres, politiques et modèles de gouvernance mondiaux qui soutiennent une adoption de l'IA sécurisée et éthique, vous équipant des connaissances nécessaires pour garantir que les systèmes d'IA ne sont pas seulement fonctionnels, mais justes, transparents et conformes aux attentes réglementaires.
- L'Avenir de l'IA : Regard vers l'Avant
L'IA évolue rapidement, tout comme le périmètre et la complexité de ses défis de sécurité. Dans ce dernier sujet, nous tournons notre attention vers la voie à suivre : examinant comment les applications et architectures émergentes façonneront la prochaine frontière de la sécurité de l'IA. Vous explorerez des utilisations spéculatives mais de plus en plus plausibles de l'IA dans des secteurs comme la santé, les véhicules autonomes et la programmation, en déballant les risques uniques que chaque cas d'utilisation présente. Nous introduirons également l'Intelligence Artificielle Générale (AGI), examinant son potentiel transformateur aux côtés des implications de sécurité et éthiques profondes qu'elle pourrait entraîner. Des modèles d'IA légers pour des dispositifs contraints aux perspectives philosophiques sur les compromis de sécurité, ce sujet vous encourage à penser de manière critique et proactive. L'objectif : vous équiper de la perspicacité et de la prévoyance nécessaires pour anticiper les risques futurs, influencer l'innovation responsable et contribuer à l'évolution sécurisée des systèmes intelligents.
Enseigné par
Matt Bushby
Matières
Information Security (InfoSec)
