Serie 1 om sikkerhet for KI-applikasjoner: Sikkerhetshensyn ved innføring av KI-verktøy

Etter hvert som KI-verktøy som Microsoft Copilot blir stadig mer sentrale i virksomhetens drift, avdekker forskning og testing i virkelige miljøer nye sårbarheter. Trusselaktører utforsker raskt nye måter å utnytte disse verktøyene på, blant annet ved å bruke dem som en del av angrepskjeden, på samme måte som «living-off-the-land»-teknikker brukes i tradisjonelle angrep. Selv om denne teknologien er ny, integrerer Microsoft den i kjente og velprøvde prosesser, som koordinert sårbarhetsrapportering, for å sikre at risikoer identifiseres og reduseres på en trygg måte. Disse eksemplene gir verdifull lærdom til organisasjoner, ikke fordi verktøyene «sviktet» i tradisjonell forstand, men fordi de viser uventede måter KI kan misbrukes på i samspillet med data og menneskelige arbeidsprosesser.

CVE-2025-32711 (2025)
EchoLeak – nå utbedret – var et flertrinns angrep med ledetekstinjeksjon på tvers av kontekster som under visse forhold kunne lekke begrensede data brukeren allerede hadde tilgang til. En nøye utformet e-post – laget for å fremstå som ufarlig – kunne i det skjulte «forgifte» ledeteksten som Copilot behandler, og føre til at begrensede interne data ble lekket uten at offeret var klar over det. Microsoft lanserte raskt oppdateringer for å rette feilen CVE-2025-32711. Sårbarheten viste en subtil, men alvorlig risiko: at KI-systemer utilsiktet kan eksponere sensitive kundedata gjennom indirekte manipulering av ledetekster.

Risiko ved for omfattende tillatelser
Copilot arver brukernes tillatelser. Hvis noen fortsatt har tilgang til data fra en tidligere avdeling, kan Copilot hente frem denne informasjonen i genererte svar. På samme måte kan sensitive data som er tilgjengelige for én ansatt, dukke opp i KI-genererte sammendrag og skape risiko for etterlevelse og personvern. Organisasjoner kan redusere risikoen med tilgang etter minste privilegium, rollebaserte kontroller og DLP-policyer i Microsoft Purview. I tillegg kan bruk av Researcher-modus i M365 Copilot bidra til å identifisere feil i tilgangstillatelser proaktivt, før de utvikler seg til et sikkerhetsproblem. Hovedprinsippet er å bare gi KI tilgang til data du er komfortabel med at den kan bruke – i praksis informasjon du tåler at blir eksponert. Organisasjoner bør innføre en risikovurderingsmodell og en plan for risikoreduserende tiltak for å vurdere nøye hvilke data Copilot trygt kan håndtere, i stedet for å gjøre det til en sentral del av svært konfidensielle arbeidsprosesser.

Misbruk fra innsiden og driftsfeil
Ikke alle hendelser kommer fra eksterne trusler. I noen tilfeller kan interne brukere bruke verktøy som Copilot til å generere rapporter som inneholder sensitive data, uten å gjennomgå dem grundig. Tiltak inkluderer opplæring, overvåking, avviksoppdagelse og styringspolicyer for å sikre at KI forblir en pålitelig assistent, fremfor et ukontrollert verktøy.

Indirekte dataforgiftning og manipulering av ledetekster
KI-systemer er sårbare på mange måter, blant annet gjennom subtile, men kraftige teknikker som indirekte dataforgiftning og manipulering av ledetekster. Disse kan i det skjulte påvirke modellens atferd uten tydelige varselsignaler. Disse metodene innebærer å utforme inndata som styrer utdata i risikofylte retninger, for eksempel ved å eksponere sensitiv informasjon eller introdusere skjevheter. Skjulte ledetekster, som tekst kodet i heksadesimalt format eller usynlig formatering, kan påvirke Copilots sammendrag på en skjult måte og i enkelte tilfeller hente frem utdatert eller uventet informasjon. Ved å bruke kontrollert innhenting av innhold, validere metadata og ha god oppfølging av KI-samhandlinger kan organisasjoner holde KI-verktøy pålitelige og sikre at de fortsatt gir verdi uten å innføre utilsiktede risikoer.

Disse eksemplene viser at KI-sikkerhet ofte handler om menneskelig atferd, datahåndtering og tolkning, ikke bare om feil i programvaren. Med riktige sikkerhetstiltak kan organisasjoner utnytte Copilot-verktøy effektivt samtidig som de reduserer utilsiktet eksponering. Mer informasjon på Secure AI For a Strong Foundation – opplæring | Microsoft Learn.