Série 1 sur la sécurité des applications d’IA : considérations de sécurité lors de l’adoption d’outils d’IA

À mesure que des outils d’IA comme Microsoft Copilot deviennent de plus en plus centraux dans les opérations de l’entreprise, la recherche et les tests en conditions réelles mettent en lumière de nouvelles vulnérabilités. Les acteurs malveillants explorent rapidement d’autres moyens d’exploiter ces outils, par exemple en les intégrant à leur chaîne d’attaque, à l’image de la technique du living off the land dans les attaques traditionnelles. Même si cette technologie est récente, Microsoft l’intègre à des processus éprouvés, comme la divulgation coordonnée des vulnérabilités, afin d’identifier et d’atténuer les risques en toute sécurité. Ces cas offrent de précieuses leçons aux organisations, non pas parce que les outils ont « échoué » au sens classique du terme, mais parce qu’ils révèlent des façons inattendues dont l’IA peut être détournée dans ses interactions avec les données et les flux de travail humains.

CVE-2025-32711 (2025)
EchoLeak – désormais corrigé – était une technique d’attaque par injection croisée de prompts en plusieurs étapes qui, dans certaines conditions, pouvait exfiltrer des données limitées auxquelles la victime avait déjà accès. Un e-mail soigneusement rédigé – conçu pour paraître inoffensif – pouvait silencieusement « empoisonner » la requête que Copilot voit, l’amenant à divulguer des données internes limitées à l’insu de la victime. Microsoft a rapidement publié des mises à jour pour corriger la faille CVE-2025-32711. La vulnérabilité a mis en lumière un risque subtil, mais sérieux : la possibilité pour des systèmes d’IA d’exposer involontairement des données clients sensibles via une manipulation indirecte des prompts.

Risques liés aux autorisations excessives
Copilot hérite des autorisations de ses utilisateurs. Si une personne conserve l’accès à des données d’un service précédent, Copilot peut faire remonter ces informations dans les contenus générés. De même, des données sensibles accessibles à un collaborateur peuvent apparaître dans des résumés générés par l’IA, créant ainsi des risques de conformité et de confidentialité. Les organisations peuvent atténuer ce risque grâce à un accès au moindre privilège, à des contrôles basés sur les rôles et à des politiques DLP dans Microsoft Purview. En outre, l’utilisation du mode Recherche de M365 Copilot peut aider à identifier de manière proactive les fuites d’autorisations avant qu’elles ne deviennent un problème de sécurité. Le principe clé consiste à n’exposer à l’IA que des données dont vous acceptez réellement l’accès – autrement dit, des informations que vous pouvez vous permettre de divulguer. Les organisations doivent mettre en place une évaluation du modèle de risque et un plan d’atténuation afin d’examiner avec rigueur les données avec lesquelles Copilot peut interagir en toute sécurité, plutôt que de le placer au cœur de flux de travail hautement confidentiels.

Mauvaise utilisation en interne et erreurs opérationnelles
Tous les incidents ne proviennent pas de menaces externes. Dans certains cas, des utilisateurs internes peuvent utiliser des outils comme Copilot pour générer des rapports contenant des données sensibles sans les relire suffisamment. Les mesures d’atténuation incluent la formation, le monitoring, la détection des anomalies et des politiques de gouvernance, afin que l’IA reste un assistant de confiance plutôt qu’un outil incontrôlé.

Empoisonnement indirect des données et manipulation des prompts
Les systèmes d’IA sont vulnérables de bien des façons, notamment face à des techniques subtiles mais puissantes comme l’empoisonnement indirect des données et la manipulation des prompts, qui peuvent influencer discrètement le comportement d’un modèle sans signe d’alerte évident. Ces méthodes consistent à concevoir des entrées qui orientent les sorties vers des comportements risqués, comme l’exposition d’informations sensibles ou l’introduction de biais. Des prompts cachés, comme du texte encodé en hexadécimal ou une mise en forme invisible, peuvent influencer subtilement les résumés de Copilot et faire apparaître, parfois, des informations obsolètes ou inattendues. En appliquant une ingestion de contenu contrôlée, en validant les métadonnées et en assurant une supervision rigoureuse des interactions avec l’IA, les organisations peuvent conserver des outils d’IA fiables et continuer à créer de la valeur sans introduire de risques involontaires.

Ces exemples montrent que la sécurité de l’IA dépend souvent du comportement humain, de la gestion des données et de l’interprétation, et pas seulement de failles logicielles. Avec les bons garde-fous, les organisations peuvent exploiter efficacement les outils Copilot tout en limitant l’exposition involontaire. En savoir plus sur Secure AI For a Strong Foundation – Formation | Microsoft Learn.