Serie 1 sulla sicurezza delle applicazioni IA: considerazioni di sicurezza per l’adozione degli strumenti di IA

Con strumenti di IA come Microsoft Copilot sempre più necessari alle operazioni aziendali, le ricerche e i test sul campo hanno messo alla luce nuove vulnerabilità. Gli attori di minacce trovano rapidamente nuovi modi per sfruttare questi strumenti, ad esempio includendoli nella propria catena di attacco, come avviene con la tecnica living-off-the-land negli attacchi tradizionali. Questa tecnologia, sebbene nuova, è già stata integrata da Microsoft in processi noti e collaudati come la coordinated vulnerability disclosure per garantire che i rischi vengano individuati e mitigati in modo sicuro. Casi come questo rappresentano insegnamenti preziosi per le organizzazioni, non perché gli strumenti "non abbiano funzionato" nel senso convenzionale del termine, ma perché rivelano modi inaspettati di utilizzo improprio dell'IA nelle interazioni con i dati e i flussi di lavoro umani.

CVE-2025-32711 (2025)
EchoLeak – ora risolto – era una tecnica di attacco cross-prompt injection in più fasi che, in determinate condizioni, era in grado di esfiltrare una quantità limitata di dati a cui la vittima aveva già accesso. Un messaggio di posta elettronica ben scritto, apparentemente innocuo, può danneggiare silenziosamente il prompt visualizzato da Copilot, inducendolo a rivelare alcuni dati interni senza che la vittima se ne accorga. Microsoft ha immediatamente rilasciato aggiornamenti per correggere questa vulnerabilità CVE-2025-32711. La vulnerabilità ha evidenziato un rischio meno visibile ma altrettanto serio: la possibilità che i sistemi di IA espongano involontariamente dati sensibili dei clienti tramite manipolazione indiretta dei prompt.

Rischi legati ad autorizzazione eccessiva
Copilot eredita le autorizzazioni degli utenti. Se qualcuno continua ad avere accesso ai dati di un contesto precedente, Copilot è in grado di usare queste informazioni negli output generati. In modo simile, è possibile che i dati sensibili utilizzabili da un dipendente vengano inclusi nei riepiloghi dell’IA, portando a rischi di conformità e privacy. Le organizzazioni possono ridurre questo rischio applicando il principio del privilegio minimo, introducendo controlli basati sui ruoli o usando criteri DLP in Microsoft Purview. L’uso della modalità Researcher di M365 Copilot può inoltre aiutare a individuare in modo proattivo eventuali esposizioni dovute alle autorizzazioni prima che si trasformino in un problema di sicurezza. Il principio fondamentale in questo senso è che ci si può fidare dell'IA solo con i dati che si è disposti a condividere, in sostanza le informazioni che possono essere esposte senza rischio. Le organizzazioni farebbero bene ad adottare valutazioni del modello di rischio e piani di mitigazione per analizzare in modo dettagliato i dati che possono essere gestiti da Copilot in modo sicuro, evitando di affidargli la gestione di flussi di lavoro altamente riservati.

Uso improprio da parte di insider ed errori operativi
Non tutti gli incidenti sono causati da minacce esterne. In alcuni casi, utenti interni possono usare strumenti come Copilot per generare report contenenti dati sensibili senza verificarli con sufficiente attenzione. Le misure di mitigazione includono formazione, monitoraggio, rilevamento delle anomalie e criteri di governance, in modo che l’IA rimanga un assistente affidabile e non si trasformi in uno strumento imprevedibile.

Compromissione indiretta dei dati e manipolazione dei prompt
I sistemi di IA sono vulnerabili in diversi modi, comprese tecniche meno visibili ma altrettanto efficaci come la compromissione indiretta dei dati e la manipolazione dei prompt, che possono influenzare silenziosamente il comportamento di un modello senza evidenti segnali di allarme. Metodi di questo tipo implicano la creazione di input in grado di orientare gli output in modo rischioso, ad esempio esponendo informazioni sensibili o introducendo pregiudizi. I prompt nascosti, come testo codificato in esadecimale o formattazione invisibile, possono influenzare in modo impercettibile i riepiloghi di Copilot, portando in alcuni casi alla condivisione di informazioni obsolete o inaspettate. Usando inserimento controllato dei contenuti e convalida dei metadati e monitorando con attenzione le interazioni con l’IA, le organizzazioni possono garantire l'affidabilità degli strumenti di IA e far sì che vengano gestiti in modo proficuo senza portare a rischi non voluti.

Gli esempi fatti mostrano che spesso la sicurezza dell’IA non dipende solo dalla vulnerabilità dei software, ma anche dal comportamento umano, dalla gestione dei dati e dall’interpretazione. Con adeguate misure di protezione, le organizzazioni possono usare Copilot nel migliore dei modi, riducendo al minimo le esposizioni involontarie. Scopri di più su Secure AI For a Strong Foundation - Training | Microsoft Learn.