Seriál o zabezpečení aplikací AI, díl 1: Bezpečnostní hlediska při zavádění nástrojů AI

Jakmile se nástroje AI, jako je Microsoft Copilot, stávají stále důležitější součástí provozu podniku, výzkum i testování v reálném prostředí odhalují nová zranitelná místa. Aktéři hrozeb rychle hledají další způsoby, jak tyto nástroje zneužít – například tím, že je začlení do svého útočného řetězce podobně jako techniku living-off-the-land v tradičních útocích. Ačkoli je tato technologie nová, Microsoft ji začleňuje do osvědčených procesů, například do koordinovaného zveřejňování zranitelností, aby bylo možné rizika bezpečně identifikovat a zmírňovat. Tyto případy přinášejí organizacím cenné poznatky ne proto, že by nástroje v běžném smyslu selhaly, ale proto, že odhalují neočekávané způsoby, jak může být AI zneužita při práci s daty i v lidských pracovních postupech.

CVE-2025-32711 (2025)
EchoLeak – nyní opraveno – byla technikou vícefázového útoku typu cross-prompt injection, která za určitých podmínek umožňovala exfiltraci omezených dat, k nimž už má oběť přístup. Pečlivě připravený e-mail — na pohled neškodný — může tiše „otrávit“ výzvu, kterou Copilot uvidí, a způsobit únik omezeného množství interních dat, aniž by si toho oběť všimla. Microsoft rychle vydal aktualizace, které tuto chybu CVE-2025-32711 opravují. Zranitelnost upozornila na nenápadné, ale závažné riziko: že systémy AI mohou neúmyslně zpřístupnit citlivá zákaznická data prostřednictvím nepřímé manipulace s výzvami.

Rizika nadměrných oprávnění
Copilot dědí oprávnění svých uživatelů. Pokud si někdo ponechá přístup k datům z předchozího oddělení, může Copilot tyto informace zobrazit v generovaných výstupech. Podobně se mohou citlivá data dostupná jednomu zaměstnanci objevit i v AI souhrnech, což vytváří rizika pro soulad s předpisy i ochranu soukromí. Organizace mohou toto riziko zmírnit pomocí principu nejnižších oprávnění, řízení na základě rolí a zásad DLP v Microsoft Purview. Režim Researcher v M365 Copilotovi navíc může proaktivně odhalit úniky v nastavení oprávnění dřív, než se z nich stane bezpečnostní problém. Klíčová zásada zní: svěřujte AI jen data, u nichž vám nevadí, že k nim bude mít přístup – tedy v podstatě informace, které si můžete dovolit zpřístupnit. Organizace by měly zavést posouzení rizikového modelu a plán zmírnění rizik, aby pečlivě vyhodnotily, s jakými daty může Copilot bezpečně pracovat, místo aby jej stavěly do centra vysoce důvěrných procesů.

Zneužití ze strany interních uživatelů a provozní chyby
Ne všechny incidenty přicházejí zvenčí. V některých případech mohou interní uživatelé využívat nástroje jako Copilot k vytváření reportů s citlivými daty, aniž by je důkladně zkontrolovali. Do strategie zmírnění rizik patří školení, monitoring, detekce anomálií a zásady řízení, které pomáhají udržet AI jako důvěryhodného asistenta, nikoli jako nekontrolovaný nástroj.

Nepřímé otravování dat a manipulace s výzvami
Systémy AI jsou zranitelné mnoha způsoby, včetně nenápadných, ale účinných technik, jako je nepřímé otravování dat a manipulace s výzvami, které mohou bez zjevných varovných signálů nenápadně formovat chování modelu. Tyto metody spočívají v přípravě vstupů, které rizikovým způsobem ovlivňují výstupy — například tak, aby odhalily citlivé informace nebo zavedly zkreslení. Skryté výzvy, například text zakódovaný v šestnáctkové soustavě nebo neviditelné formátování, mohou nenápadně ovlivnit souhrny Copilota a někdy zobrazit zastaralé nebo neočekávané informace. Díky řízenému načítání obsahu, ověřování metadat a průběžnému promyšlenému dohledu nad interakcemi s AI mohou organizace udržet své AI nástroje spolehlivé a zajistit, že budou dál přinášet hodnotu bez zavádění nechtěných rizik.

Tyto příklady ukazují, že bezpečnost AI často souvisí s chováním lidí, prací s daty a interpretací, nikoli jen se softwarovými chybami. Při správně nastavených ochranných opatřeních mohou organizace využívat nástroje Copilota efektivně a zároveň minimalizovat nechtěné odhalení dat. Další informace najdete zde: Bezpečná AI jako pevný základ – školení | Microsoft Learn.