Séria o zabezpečení aplikácií AI 1: aspekty zabezpečenia pri zavádzaní AI nástrojov

Keďže sa nástroje AI, ako napríklad Microsoft Copilot, stávajú čoraz dôležitejšou súčasťou podnikových operácií, výskum aj testovanie v reálnom prostredí odhaľujú nové zraniteľné miesta. Aktéri v oblasti hrozieb rýchlo hľadajú ďalšie spôsoby, ako tieto nástroje zneužiť – napríklad ich zapojením do reťazca útoku podobne, ako sa v tradičných útokoch využíva technika „living-off-the-land“. Aj keď je táto technológia nová, spoločnosť Microsoft ju začleňuje do známych a overených procesov (napríklad koordinované zverejňovanie zraniteľných miest), aby bolo možné riziká bezpečne identifikovať a zmierniť. Tieto prípady prinášajú organizáciám cenné ponaučenia nie preto, že nástroje v bežnom zmysle slova „zlyhali“, ale preto, že odhaľujú nečakané spôsoby, akými možno AI zneužiť pri práci s údajmi a ľudskými pracovnými postupmi.

CVE-2025-32711 (2025)
EchoLeak – teraz už opravená – bola technika viacstupňového útoku typu „cross-prompt injection“, ktorá za určitých podmienok mohla filtrovať obmedzené údaje, ku ktorým už mala obeť prístup. Starostlivo pripravený e-mail – vytvorený tak, aby pôsobil neškodne – mohol bez akejkoľvek signalizácie „otráviť“ príkaz, ktorý Copilot vníma, a bez vedomia obete spôsobiť únik obmedzených interných údajov. Spoločnosť Microsoft bezodkladne vydala aktualizácie na odstránenie tohto problému CVE-2025-32711. Táto zraniteľnosť poukázala na nenápadné, no vážne riziko: systémy AI môžu nepriamo manipulovaným príkazom neúmyselne odhaliť citlivé údaje zákazníkov.

Riziká nadmerných povolení
Copilot dedí povolenia svojich používateľov. Ak si niekto ponechá prístup k údajom z predchádzajúceho oddelenia, Copilot môže tieto informácie zobraziť v generovaných výstupoch. Podobne sa citlivé údaje dostupné jednému zamestnancovi môžu objaviť v súhrnoch AI, čo vytvára riziká v oblasti dodržiavania súladu aj ochrany osobných údajov. Organizácie môžu toto riziko zmierniť pomocou prístupu s minimálnymi oprávneniami, ovládania založeného na rolách a politík DLP v Microsoft Purview. Okrem toho používanie režimu Vyhľadávača M365 Copilot môže pomôcť proaktívne odhaliť úniky v oblasti povolení skôr, než sa z nich stane problém zabezpečenia. Kľúčovou zásadou je dôverovať AI len v prípade údajov, pri ktorých vám neprekáža, že k nim pristupuje – teda s informáciami, ktoré si môžete dovoliť zverejniť. Organizácie by mali zaviesť hodnotenie modelu rizík a plán zmierňovania rizík, aby dôkladne zhodnotili, s akými údajmi môže Copilot bezpečne pracovať, a to namiesto toho, aby sa stal dôležitou súčasťou veľmi dôverných pracovných postupov.

Zneužitie zvnútra a prevádzkové chyby
Externé hrozby nie sú príčinou všetkých incidentov. V niektorých prípadoch môžu interní používatelia využívať nástroje (napríklad Copilot) na generovanie zostáv s citlivými údajmi bez dostatočnej kontroly ich obsahu. Zmiernenie rizík zahŕňa školenia, monitorovanie, detekciu anomálií a politiky riadenia, aby bola AI dôveryhodným asistentom – nie nekontrolovaným nástrojom.

Nepriama otrava údajov a manipulácia s príkazmi
Systémy AI sú zraniteľné mnohými spôsobmi vrátane nenápadných, no účinných techník, akými sú sú nepriama otrava údajov a manipulácia s príkazmi, ktoré môžu bez zjavného varovania potichu formovať správanie modelu. Tieto metódy spočívajú vo vytváraní vstupov, ktoré riadia výstupy rizikovým spôsobom – napríklad smerom k odhaleniu citlivých informácií alebo k zavedeniu skreslenia. Skryté príkazy, napríklad text zakódovaný v hexadecimálnej sústave alebo neviditeľné formátovanie, môžu nenápadne ovplyvniť súhrny Copilota, a občas zobraziť zastarané alebo neočakávané informácie. Uplatňovaním kontrolovaného prijímania obsahu, overovania metaúdajov a premysleného dohľadu nad interakciami s AI môžu organizácie zachovať spoľahlivosť AI nástrojov a zabezpečiť, že budú naďalej pridávať hodnotu bez zavádzania neúmyselných rizík.

Príklady uvádzané vyššie ukazujú, že zabezpečenie AI často užšie súvisí s ľudským správaním, prácou s údajmi a interpretáciou, než so samotnými chybami v softvéri. So správnymi ochrannými opatreniami môžu organizácie efektívne využívať nástroje Copilota a zároveň minimalizovať neúmyselné odhalenie údajov. Ďalšie informácie nájdete v článku Secure AI For a Strong Foundation - Training | Microsoft Learn.