Formation : IA et cybersécurité : introduction

Module 1 — Deux périmètres à distinguer

• Différencier l'IA POUR la cybersécurité (détection d'anomalies, SOC, analyse de logs) et la SÉCURITÉ de l'IA (protéger les systèmes d'IA eux-mêmes).
• Comprendre en quoi les LLM et l'IA générative élargissent la surface d'attaque de l'entreprise.
• Situer les acteurs : utilisateurs, développeurs d'applications LLM, fournisseurs de modèles.
• Présenter les cadres de référence : OWASP Top 10 for LLM Applications (2025), NIST AI RMF, guides de l'ANSSI.
• Poser le vocabulaire clé : prompt, contexte, RAG, agent, tool use.

Module 2 — Panorama des menaces sur les LLM

• Prompt injection (LLM01) : détournement du comportement du modèle via des instructions malveillantes, directes ou indirectes.
• Sensitive Information Disclosure (LLM02) : fuite de données sensibles ou confidentielles dans les réponses du modèle.
• Data and Model Poisoning (LLM04) : empoisonnement des données d'entraînement ou de fine-tuning pour altérer le modèle.
• Improper Output Handling (LLM05) : exploitation de sorties non filtrées (injection de code, XSS, SSRF en aval).
• Excessive Agency (LLM06) : risques liés à des agents disposant de trop de permissions ou d'outils.

Module 3 — L'OWASP Top 10 for LLM Applications 2025

• Présenter la liste complète : LLM01 à LLM10, référence internationale de sécurité des applications LLM.
• Détailler les risques ajoutés en 2025 : System Prompt Leakage (LLM07), Vector and Embedding Weaknesses (LLM08).
• Analyser Misinformation (LLM09) et le risque d'hallucinations exploitables.
• Étudier Unbounded Consumption (LLM10) : déni de service, coûts incontrôlés, extraction de modèle.
• Traiter Supply Chain (LLM03) : dépendances, modèles tiers, plugins et jeux de données non vérifiés.

Module 4 — Réflexes de prévention et mesures techniques

• Appliquer le principe de moindre privilège aux agents, outils et accès aux données.
• Valider et assainir les entrées et filtrer/encoder systématiquement les sorties du modèle.
• Cloisonner les données sensibles, anonymiser et éviter d'exposer des secrets dans les prompts système.
• Mettre en place journalisation, supervision humaine (human-in-the-loop) et limites de débit (rate limiting).
• Pratiquer le red teaming et des tests adverses réguliers sur les applications d'IA.

Module 5 — Gouvernance, conformité et hygiène de sécurité

• Définir une politique d'usage de l'IA encadrant outils autorisés et données admissibles.
• Articuler la sécurité de l'IA avec le RGPD, l'IA Act et les référentiels internes.
• Sensibiliser les collaborateurs au Shadow AI et aux fuites de données via des services externes.
• Établir un plan de réponse aux incidents spécifique aux systèmes d'IA.
• Maintenir une veille sur les menaces émergentes et la mise à jour des cadres (OWASP, ANSSI, NIST).