AI Application Security – serie 1: säkerhetsöverväganden vid införande av AI-verktyg

När AI-verktyg som Microsoft Copilot blir allt viktigare i företagsverksamheten identifierar forskning och tester i verkliga miljöer nya sårbarheter. Hotaktörer är snabba med att utforska olika sätt att utnyttja dessa verktyg på, exempelvis genom att använda dem som en del av sina attackkedjor, på samma sätt som living-off-the-land-tekniken i traditionella angrepp. Även om tekniken är ny integrerar Microsoft den i etablerade och beprövade processer, såsom samordnad sårbarhetsrapportering, i syfte att säkerställa att riskerna identifieras och åtgärdas på ett säkert sätt. De här fallen ger organisationerna värdefulla lärdomar, inte för att verktygen ”misslyckades” i traditionell bemärkelse, utan därför att de avslöjar oväntade sätt som AI kan missbrukas på i samspelet mellan data och människa arbetsflödet.

CVE-2025-32711 (2025)
EchoLeak, som nu åtgärdats, var en teknik för ett flerstegsangrepp med korspromptsinmatning som under vissa förhållanden kan exfiltrera begränsade data som offret redan har åtkomst till. Ett noggrant utformat e-postmeddelande, som kan se harmlöst ut, kan i tysthet ”förgifta” prompten som Copilot ser och få den att läcka begränsade interna data utan att offret märker något. Microsoft släppte snabbt uppdateringar i syfte att åtgärda bristen CVE-2025-32711. Sårbarheten belyste en subtil men allvarlig risk: att AI-system oavsiktligt kan exponera känsliga kunddata genom indirekt promptmanipulation.

Riskerna med för omfattande behörigheter
Copilot ärver användarnas behörigheter. Om någon har kvar åtkomst till data från en tidigare avdelning kan Copilot exponera den informationen i genererade resultat. På samma sätt kan känsliga data som är tillgängliga för en anställd dyka upp i AI-sammanfattningar, vilket skapar risker som innebär brott mot regelefterlevnad och integritet. Organisationerna kan minska den här risken med minst privilegierad åtkomst, rollbaserade kontroller och DLP-principer i Microsoft Purview. Dessutom kan du använda Researcher-läget i M365 Copilot när du proaktivt vill identifiera behörighetsläckor innan de blir till säkerhetsproblem. Den viktigaste principen är att bara lita på AI med data som du är bekväm med att den får åtkomst till – vilket i praktiken avser information som du har råd att exponera. Organisationer bör införa en riskmodellbedömning och en åtgärdsplan för att noggrant utvärdera vilka data Copilot säkert kan interagera med, i stället för att placera dem i centrum för mycket konfidentiella arbetsflöden.

Felaktig intern användning och operativa misstag
Alla incidenter uppstår inte genom externa hot. I vissa fall kan interna användare använda verktyg som Copilot när de ska generera rapporter som innehåller känsliga data utan att granska dem tillräckligt noggrant. Riskreducering omfattar utbildning, övervakning, avvikelsedetektering och styrningspolicyer som hjälper till att få AI att fungera som en betrodd assistent, inte som ett okontrollerat verktyg.

Indirekt dataförgiftning och promptmanipulation
AI-system är sårbara på många sätt, bland annat genom att de kan utsättas för subtila men kraftfulla tekniker som indirekt dataförgiftning och promptmanipulation, som i tysthet kan påverka en modells beteende utan att några tydliga varningssignaler syns. De här metoderna handlar om att skapa indata som styr utdata i riskfyllda riktningar, till exempel genom att exponera känslig information eller att förvrida informationen. Dolda promptar, t.ex. text kodad i hexadecimal form eller osynlig formatering, kan påverka Copilots sammanfattningar på ett subtilt sätt och ibland lyfta fram föråldrad eller oväntad information. Genom att tillämpa kontrollerad inmatning av innehåll, validera metadata och ha en genomtänkt översyn av AI-interaktionerna kan organisationer hålla AI-verktygen tillförlitliga och säkerställa att de fortsätter att skapa värde utan att medföra oavsiktliga risker.

Exemplen ovan visar att AI-säkerhet ofta handlar om mänskligt beteende, datahantering och tolkning, och inte bara om brister i programvaran. Med rätt skyddsåtgärder kan organisationerna använda Copilot-verktygen på ett effektivt sätt samtidigt som de minimerar oavsiktlig exponering. Läs mer på Säkra AI för en stark grund – utbildning | Microsoft Learn.