Securitatea aplicațiilor de inteligență artificială Seria 1: considerente de securitate la adoptarea instrumentelor de inteligență artificială

Pe măsură ce instrumentele de inteligență artificială precum Microsoft Copilot devin tot mai importante pentru operațiunile întreprinderilor, cercetarea și testarea din lumea reală scot la iveală noi vulnerabilități. Actorii de amenințare caută rapid noi modalități de a exploata aceste instrumente, de exemplu, integrându-le în lanțul lor de atac, similar tehnicii cu instrumente native (LOTL) din atacurile tradiționale. Deși această tehnologie este nouă, Microsoft o integrează în procese consacrate și dovedite, precum dezvăluirea coordonată a vulnerabilităților, pentru a se asigura că riscurile sunt identificate și reduse în siguranță. Aceste cazuri oferă lecții valoroase pentru organizații, nu pentru că instrumentele au „eșuat” în sensul convențional, ci pentru că dezvăluie moduri neașteptate în care inteligența artificială poate fi utilizată abuziv în interacțiunea cu datele și fluxurile de lucru umane.

CVE-2025-32711 (2025)
EchoLeak (acum remediată) a fost o tehnică de atac cu injectare de solicitări în mai multe etape, care, în anumite condiții, putea fura date limitate la care victima avea deja acces. Un e-mail atent redactat, menit să pară inofensiv, putea să „contamineze” în tăcere solicitarea pe care o vedea Copilot, determinând divulgarea unor date interne limitate, fără știrea victimei. Microsoft a lansat rapid actualizări pentru a remedia vulnerabilitatea CVE-2025-32711. Această vulnerabilitate a evidențiat un risc subtil, dar serios: posibilitatea ca sistemele de inteligență artificială să expună neintenționat date confidențiale ale clienților prin manipularea indirectă a solicitărilor.

Riscuri asociate permisiunilor excesive
Copilot moștenește permisiunile utilizatorilor săi. În cazul în care o persoană păstrează acces la date dintr-un departament anterior, Copilot poate scoate la suprafață acele informații în rezultatele generate. În mod similar, datele confidențiale disponibile unui angajat pot să apară în rezumatele generate de inteligența artificială, ceea ce creează riscuri de conformitate și confidențialitate. Organizațiile pot reduce acest risc prin accesul cu minim de privilegii, controale bazate pe roluri și politici DLP în Microsoft Purview. În plus, utilizarea modului Cercetare din M365 Copilot poate ajuta la identificarea proactivă a permisiunilor excesive, înainte ca acestea să devină o problemă de securitate. Principiul de bază este să aveți încredere în inteligența artificială doar pentru datele cu care vă simțiți confortabil să interacționeze, mai precis, informații pe care v-ați permite să le expuneți. Organizațiile ar trebui să implementeze o evaluare a modelului de risc și un plan de reducere a riscurilor pentru a evalua cu atenție cu ce date poate interacționa în siguranță Copilot, în loc să îl plaseze în mijlocul unor fluxuri de lucru extrem de confidențiale.

Utilizare abuzivă din interior și erori operaționale
Nu toate incidentele provin din amenințări externe. În unele cazuri, utilizatorii interni pot utiliza instrumente precum Copilot pentru a genera rapoarte care conțin date confidențiale, fără să le revizuiască atent. Printre măsurile de reducere a riscurilor se numără instruirea, monitorizarea, detectarea anomaliilor și politicile de guvernanță, pentru a menține inteligența artificială ca asistent de încredere, nu să devină un instrument necontrolat.

Contaminare indirectă a datelor și manipularea solicitărilor
Sistemele de inteligență artificială sunt vulnerabile în multe feluri, inclusiv prin tehnici subtile, dar eficiente, precum contaminarea indirectă a datelor și manipularea solicitărilor, care pot modela discret comportamentul unui model, fără semne evidente de avertizare. Aceste metode implică formularea unor intrări ce direcționează rezultatele în moduri riscante, de exemplu, pentru a expune informații confidențiale sau pentru a introduce prejudecăți. Solicitările ascunse, cum ar fi textul codificat hexazecimal sau formatarea invizibilă, pot influența discret rezumatele Copilot, scoțând uneori la iveală informații perimate sau neașteptate. Prin ingerarea controlată a conținutului, validarea metadatelor și o supraveghere atentă a interacțiunilor cu inteligența artificială, organizațiile pot menține fiabilitatea instrumentelor de inteligență artificială și se pot asigura că acestea continuă să adauge valoare, fără să introducă riscuri neintenționate.

Exemplele de mai sus arată că securitatea inteligenței artificiale ține adesea de comportamentul uman, gestionarea datelor și interpretare, nu doar de vulnerabilități software. Având măsuri de protecție adecvate, organizațiile pot valorifica eficient instrumentele Copilot, reducând totodată expunerea neintenționată. Aflați mai multe din Inteligență artificială securizată pentru o bază solidă – Instruire | Microsoft Learn.