Aperçu
AI Security:
Risks, Defences and Safety | Defend the Future of Intelligence. As artificial intelligence becomes embedded in everything from critical infrastructure to everyday applications, a new frontier of cyber risk has emerged.
From adversarial attacks to backdoor exploits, AI systems are now prime targets, and powerful tools, in the hands of threat actors. Secure the Systems That Learn AI Security is your essential guide to defending intelligent systems.
Developed by Macquarie University’s Cyber Skills Academy, ranked in the top 1% of universities globally and recognised as Australia’s leading cyber security school, this course has been co-designed with global tech leaders to ensure alignment with emerging threats and international standards. Whether you’re a cyber security professional, developer, data scientist, or policy leader, this course equips you to detect, prevent, and respond to the security risks unique to AI.
Through deep, applied learning across six core modules, you’ll gain real-world skills to:
• Understand AI systems, their architecture, and the security risks that arise from adversarial inputs, model poisoning, and data leakage. • Assess and mitigate AI-driven cyber-physical risks in Operational Technology (OT) and Industrial Control Systems (ICS). • Navigate threats in real-world AI deployments—from deepfakes and misinformation to ethical misuse and privacy violations. • Apply security testing strategies and technical controls, including encryption, red/purple/blue team exercises, and robustness benchmarking. • Align AI systems with frameworks for Responsible AI, covering fairness, transparency, regulatory compliance, and trust. • Look ahead to the evolving risks posed by Artificial General Intelligence (AGI) and deploy proactive defences for the next generation of AI. AI Is the New Attack Surface AI is transforming everything, from how we work to how we’re attacked.
This course is built to prepare you for both. You’ll gain the technical fluency, ethical awareness, and strategic insight to secure AI across domains and industries.
Lead the defence. Anticipate what’s next.
Secure AI now.
Programme
- Introduction et menaces émergentes de l'IA
L'Intelligence Artificielle (IA) révolutionne les industries à travers le monde, mais elle introduit également un ensemble de menaces de cybersécurité en constante évolution. À mesure que les systèmes d'IA deviennent plus complexes et profondément intégrés dans les opérations quotidiennes, comprendre leurs principes fondamentaux et les risques émergents est essentiel. Dans ce sujet, vous explorerez les fondamentaux de l'IA, ce qu'elle est, comment elle fonctionne et comment elle est appliquée dans divers secteurs. Vous apprendrez à distinguer les systèmes d'IA orientés ingénierie des modèles d'apprentissage profond, et comment chacun introduit des considérations de sécurité uniques. Nous passerons ensuite à la nouvelle et émergente menace : l'IA adversariale, la manipulation de modèles, les deepfakes, les arnaques pilotées par l'IA, et l'armement de l'IA pour la désinformation. Vous construirez une base essentielle tant dans les cadres de sécurité traditionnels que dans les risques spécifiques à l'IA, posant les bases d'une exploration plus approfondie de la sécurisation des applications d'IA pour le reste du cours. Préparez-vous à explorer la pointe des défis de sécurité de l'IA, et à comprendre l'urgence de construire des systèmes d'IA fiables, robustes et défensifs.
- Attaques ICS (Systèmes de Contrôle Industriel) / OT (Technologie Opérationnelle) dans le contexte des attaques de sécurité traditionnelles
À mesure que l'IA est de plus en plus intégrée dans les infrastructures critiques et les systèmes industriels, elle apporte de nouvelles couches de complexité, ainsi que de nouvelles voies d'attaque. Dans ce sujet, vous explorerez comment l'Intelligence Artificielle transforme le paysage de la sécurité des Systèmes de Contrôle Industriel (ICS) et de la Technologie Opérationnelle (OT), et ce que cela signifie pour les défenseurs œuvrant dans des environnements à haut risque et fort impact. Nous commencerons par examiner comment l'IA est appliquée dans les ICS et l'OT, améliorant l'efficacité opérationnelle, l'automatisation et la maintenance prédictive. Mais avec l'innovation vient le risque : l'IA introduit de nouvelles vulnérabilités, allant de la manipulation par IA des systèmes cyber-physiques à de nouvelles vecteurs d'attaque dans les infrastructures critiques telles que les réseaux énergétiques et les lignes de production. À travers des études de cas réelles, vous enquêterez sur la façon dont les adversaires exploitent l'IA dans les environnements industriels et comment les pratiques traditionnelles d'OpSec et DevSecOps doivent être adaptées pour sécuriser les déploiements assistés par IA. Vous apprendrez également à identifier les composants sensibles au sein des pipelines IA et à appliquer des défenses spécifiques au contexte selon le secteur, que ce soit dans des applications de qualité militaire, des environnements industriels ou des produits de consommation. L'IA alimente l'avenir de l'industrie. Ici, vous apprendrez à la défendre.
- Sécurité de l'IA et risques pour les applications réelles
À mesure que les systèmes d'IA passent de modèles expérimentaux à des déploiements dans le monde réel, leur exposition aux menaces adversariales et à l'utilisation abusive augmente considérablement. Dans ce sujet, nous explorerons comment l'IA est attaquée et exploitée en pratique, et pourquoi sécuriser ces systèmes est désormais un axe critique pour les professionnels de la cybersécurité. Vous plongerez dans la mécanique des vecteurs d'attaque spécifiques à l'IA tels que l'empoisonnement de modèle, la fuite d'informations, le vol de modèle et les exploits de portes dérobées. Ces menaces compromettent non seulement la performance des modèles d'IA, mais posent également de sérieux risques pour la confidentialité des données, la propriété intellectuelle et la sécurité des utilisateurs. Nous examinerons également les implications des sorties nuisibles de l'IA, qu'elles proviennent de modèles mal alignés, de données d'entraînement biaisées ou de manipulations délibérées. Vous apprendrez comment les défis tels que l'alignement des sorties, la censure éthique et la surveillance pilotée par l'IA affectent à la fois la confiance du public et la conformité légale. En analysant des études de cas et des scénarios du monde réel, ce sujet aiguisera votre capacité à identifier les vulnérabilités dans les systèmes d'IA et à comprendre les conséquences sociétales plus larges des déploiements non sécurisés. L'IA façonne déjà le monde, ce sujet aide à s'assurer qu'elle le fait en toute sécurité et responsabilité.
- Défenses (contrôles IA) et tests de sécurité de l'IA
À mesure que les systèmes d'IA deviennent plus puissants et intégrés dans des opérations critiques, les défendre contre les menaces émergentes n'est plus une option, c'est une mission critique. Dans ce sujet, vous explorerez les contrôles techniques et les stratégies de test utilisés pour sécuriser les modèles d'IA et les protéger des compromis. Vous apprendrez à appliquer des défenses spécifiques à l'IA, depuis la conception d'algorithmes sécurisés jusqu'aux techniques préservant la confidentialité comme la confidentialité différentielle. Vous examinerez également comment tester et valider la robustesse des modèles d'IA en utilisant des approches de red, purple et blue teaming. Avec un accent sur l'équilibre entre sécurité, utilité et performance, ce sujet vous donne les moyens de faire des compromis informés dans des environnements à enjeux élevés. Que vous construisiez ou auditiez des systèmes d'IA, vous acquerrez les compétences pratiques nécessaires pour implémenter des contrôles de confiance et tester rigoureusement la résilience contre les menaces du monde réel.
- IA responsable, régulation et gouvernance
À mesure que les systèmes d'IA croissent en influence et en complexité, l'impératif de s'assurer qu'ils soient conçus, déployés et gouvernés de manière responsable s'intensifie également. Ce sujet introduit les principes fondamentaux de l'IA Responsable - couvrant l'équité, l'atténuation des biais, la transparence et la responsabilité éthique. Vous explorerez comment les décisions de l'IA peuvent impacter les individus et les communautés, et comment naviguer dans les compromis entre confidentialité des utilisateurs, performance des modèles et transparence. Les défis clés comme la provenance des données, l'étiquetage et les implications éthiques des modèles à grande échelle seront décomposés, aux côtés de stratégies pratiques pour renforcer la confiance dans les systèmes d'IA. Nous plongerons également dans les cadres mondiaux, les politiques et les modèles de gouvernance qui soutiennent l'adoption sécurisée et éthique de l'IA, vous dotant des connaissances pour vous assurer que les systèmes d'IA ne sont pas seulement fonctionnels, mais équitables, transparents et conformes aux attentes règlementaires.
- L'avenir de l'IA : un regard vers l'avant
L'IA évolue rapidement - et avec elle, la portée et la complexité de ses défis de sécurité. Dans ce dernier sujet, nous tournerons notre attention vers la route à venir : examinant comment les applications et architectures émergentes façonneront la prochaine frontière de la sécurité de l'IA. Vous explorerez les utilisations spéculatives mais de plus en plus plausibles de l'IA dans des secteurs comme la santé, les véhicules autonomes et la programmation - décomposant les risques uniques que chaque cas d'utilisation présente. Nous introduirons également l'Intelligence Artificielle Générale (AGI), examinant son potentiel transformateur aux côtés des implications de sécurité et éthiques profondes qu'elle peut entraîner. Des modèles d'IA allégés pour les dispositifs contraints aux perspectives philosophiques sur les compromis de sécurité, ce sujet vous encourage à penser de manière critique et proactive. L'objectif : vous doter de l'intuition et de la prévoyance nécessaires pour anticiper les risques futurs, influencer l'innovation responsable et contribuer à l'évolution sécurisée des systèmes intelligents.
Enseigné par
Matt Bushby
Matières
Information Security (InfoSec)
