AI-programsikkerhedsserie 1: Sikkerhedsovervejelser ved ibrugtagning af AI-værktøjer

Efterhånden som AI-værktøjer som Microsoft Copilot bliver stadig mere centrale i virksomheders drift, afdækker forskning og test i den virkelige verden nye sårbarheder. Trusselsaktører er hurtige til at udforske nye måder at udnytte disse værktøjer på, for eksempel ved at indarbejde dem i deres angrebskæde på samme måde som living-off-the-land-teknikken i traditionelle angreb. Selvom teknologien er ny, integrerer Microsoft den i kendte og gennemprøvede processer som koordineret sårbarhedsrapportering for at sikre, at risici identificeres og afhjælpes sikkert. Disse tilfælde giver værdifuld læring for organisationer – ikke fordi værktøjerne "fejlede" i traditionel forstand, men fordi de afslører uventede måder, AI kan misbruges på i samspillet med data og menneskelige arbejdsprocesser.

CVE-2025-32711 (2025)
EchoLeak – nu rettet – var en teknik til et flertrins injektionsangreb på tværs af prompter, som under visse betingelser kan eksfiltrere begrænsede data, som offeret allerede har adgang til. En omhyggeligt udformet mail – designet til at fremstå harmløs – kunne lydløst "forgifte" den prompt, Copilot ser, og få den til at lække begrænsede interne data uden offerets viden. Microsoft udsendte hurtigt opdateringer for at afhjælpe fejlen CVE-2025-32711. Sårbarheden understregede en subtil, men alvorlig risiko: at AI-systemer utilsigtet kan afsløre følsomme kundedata gennem indirekte promptmanipulation.

Risici vedrørende for omfattende tilladelser
Copilot arver sine brugeres tilladelser. Hvis en person stadig har adgang til data fra en tidligere afdeling, kan Copilot bringe disse oplysninger frem i genererede output. På samme måde kan følsomme data, som er tilgængelige for én medarbejder, dukke op i AI-sammenfatninger og skabe overholdelses- og privatlivsrisici. Organisationer kan mindske risikoen med adgang efter mindst mulige rettigheder, rollebaserede kontroller og DLP-politikker i Microsoft Purview. Derudover kan brug af M365 Copilots Researcher-tilstand hjælpe med proaktivt at identificere tilladelseslækager, før de udvikler sig til et sikkerhedsproblem. Det centrale princip er kun at betro AI med data, som du er tryg ved, at den tilgår – altså oplysninger, du kan acceptere at eksponere. Organisationer bør etablere en vurdering af risikomodellen og en afhjælpningsplan, så de nøje kan vurdere, hvilke data Copilot sikkert kan interagere med, i stedet for at placere den i centrum af stærkt fortrolige arbejdsprocesser.

Insider-misbrug og driftsfejl
Ikke alle hændelser kommer udefra. I nogle tilfælde kan interne brugere anvende værktøjer som Copilot til at generere rapporter, der indeholder følsomme data, uden at gennemgå dem grundigt. Afbødning omfatter træning, overvågning, registrering af uregelmæssigheder og styringspolitikker, så AI forbliver en betroet assistent i stedet for et ukontrolleret værktøj.

Indirekte dataforgiftning og promptmanipulation
AI-systemer er sårbare på mange måder, blandt andet gennem subtile, men stærke teknikker som indirekte dataforgiftning og promptmanipulation, der stille kan forme en models adfærd uden tydelige advarselstegn. Disse metoder går ud på at udforme input, der styrer output i risikable retninger, for eksempel for at afsløre følsomme oplysninger eller indføre bias. Skjulte prompter, såsom tekst kodet i hexadecimal eller usynlig formatering, kan subtilt påvirke Copilots sammenfatninger og lejlighedsvis bringe forældede eller uventede oplysninger frem. Ved at anvende kontrolleret indlæsning af indhold, validere metadata og føre et gennemtænkt tilsyn med AI-interaktioner kan organisationer holde AI-værktøjer pålidelige og sikre, at de fortsat skaber værdi uden at introducere utilsigtede risici.

Disse eksempler viser, at AI-sikkerhed ofte handler om menneskelig adfærd, datahåndtering og fortolkning – ikke kun om softwarefejl. Med de rette sikkerhedsforanstaltninger kan organisationer udnytte Copilot-værktøjer effektivt og samtidig minimere utilsigtet eksponering. Få mere at vide på Secure AI For a Strong Foundation – Training | Microsoft Learn.