This is the Trace Id: 5ba28f53e9a921a4f7d12198640743ae

Serija o sigurnosti AI aplikacija 1: sigurnosna razmatranja pri usvajanju AI alata

Žena gleda u zaslon računala.

Uravnoteženje rizika i koristi AI-ja

Umjetna inteligencija (AI) brzo je prešla iz faze eksperimentiranja u fazu operativne primjene, mijenjajući način na koji organizacije posluju, donose odluke i upravljaju rizicima. Kako AI postaje sastavni dio tijekova rada za produktivnost, suradnju i sigurnost, mijenja i brzinu i opseg obavljenog posla.

No to ubrzanje otvara i dodatne mogućnosti za zloupotrebu. Akteri prijetnji već upotrebljavaju AI za izviđanje, društveni inženjering i automatizaciju, pretvarajući moćan obrambeni alat u potencijalno napadačko oružje. Sigurnost, dakle, više nije samo zaštita tradicionalnih sustava i podataka; riječ je o razumijevanju i zaštiti načina na koji se AI upotrebljava, primjenjuje i implementira unutar vaše organizacije.

AI alati donose i suptilnije izazove. Sustavi mogu pogrešno protumačiti podatke, donositi pogreške ili pokazivati neočekivane pristranosti. Izlazni rezultati mogu se mijenjati tijekom vremena kako se modeli ažuriraju ili ponovo uvježbavaju. To znači da sigurnost nije samo zaštita softvera; riječ je o praćenju ponašanja, provjeri rezultata i uspostavi okvira upravljanja koji osiguravaju odgovornu upotrebu AI alata. Bez tih mjera čak i dobro osmišljene aplikacije mogu unijeti operativne rizike.

U ovom se članku razmatraju praktična sigurnosna razmatranja koja bi organizacije trebale imati na umu kako AI postaje središnji dio rada. Od sprječavanja zlouporabe i provedbe upravljanja do nadzora i kontrole pristupa, pogledat ćemo kako organizacije mogu sigurno i učinkovito ostvariti prednosti AI-ja.

Širenje putova za iskorištavanje AI aplikacija

Sve veće oslanjanje na AI otvara više mogućih ulaznih točaka koje akteri prijetnji mogu iskoristiti. Akteri prijetnji sada mogu koristiti AI za skaliranje kampanja krađe identiteta, prilagodbu poruka društvenog inženjeringa ili automatizaciju ponavljajućih napadačkih zadataka.

Kako AI alati postaju sastavni dio poslovanja, organizacije moraju prepoznati da njihovo usvajanje širi napadnu površinu i pojačava postojeće rizike. Četiri ključna područja zabrinutosti uključuju:

Rizik za podatke: Uz odgovarajuća dopuštenja, Microsoft Copilot može pristupiti vašoj e-pošti, dokumentima i porukama u Teamsu kako bi pružio odgovore prilagođene kontekstu. Taj pristup može nenamjerno izložiti osjetljive informacije. Na primjer, ako korisnik u upit unese osjetljive informacije kao što su lozinke, vlasnički kod ili povjerljivi podaci, one bi mogle biti izložene. Organizacije taj rizik mogu ublažiti pravilima sprječavanja gubitka podataka (DLP) u rješenju Microsoft Purview, pristupom prema načelu najmanjih ovlasti i obveznom klasifikacijom podataka.

Ponašanje AI-ja i rizik sadržaja: Copilot izravno odgovara na ulaze koje prima. Zlonamjerne ili zavaravajuće upute, bilo ugrađene ili skrivene u dokumentima ili bazama znanja, mogu proizvesti nesigurne izlazne rezultate. Napadi injektiranjem upita ili ugroženi sadržaj mogli bi otkriti osjetljive informacije ili dovesti do netočnih preporuka. Vanjski napadači nisu jedini rizik; i zaposlenici s legitimnim pristupom mogu zloupotrijebiti sustave. Organizacije mogu smanjiti rizik upotrebom provjere unosa, nadzora unutarnjih rizika, skeniranja metapodataka, kontroliranog unosa sadržaja i ljudske provjere.

Automatizacija i operativna zlouporaba:
AI brzo obavlja ponavljajuće zadatke, od pisanja poruka e-pošte do generiranja izvješća. Ta učinkovitost može pojačati pogreške ili je mogu zloupotrijebiti interne osobe. Na primjer, sigurnosni analitičar pod pritiskom mogao bi se previše osloniti na izlazne rezultate Security Copilota i propustiti ključan kontekst. Kombinacija ljudske provjere, nadzora i pravila upravljanja, poput obvezne edukacije zaposlenika, osigurava da AI pomaže, a ne zamjenjuje ljudsku prosudbu.

Rizik implementacije i infrastrukture:
Copilot se duboko integrira s Microsoftom 365, Azureom i aplikacijama trećih strana. Neispravno konfigurirani poveznici ili previše permisivne integracije mogu proširiti pristup i stvoriti potencijalne ulazne točke za napadače. Redovite provjere konfiguracije, pravila uvjetnog pristupa i nadzor API-ja pomažu održati sigurno okruženje.

AI incidenti u praksi: lekcije iz stvarnih napada

Kako AI alati poput Microsoft Copilota postaju sve važniji za poslovanje, istraživanja i testiranja u stvarnim uvjetima otkrivaju nove ranjivosti. Akteri prijetnji brzo istražuju dodatne načine za iskorištavanje tih alata, primjerice korištenjem kao dijela lanca napada, poput tehnike iskorištavanja raspoloživosti u tradicionalnim napadima. Iako je tehnologija nova, Microsoft je ugrađuje u poznate i provjerene procese, poput koordiniranog otkrivanja ranjivosti, kako bi se rizici mogli sigurno identificirati i ublažiti. Ti slučajevi pružaju vrijedne pouke za organizacije, ne zato što su alati „zakazali” u klasičnom smislu, nego zato što otkrivaju neočekivane načine na koje se AI može zloupotrijebiti u interakciji s podacima i ljudskim tijekovima rada.

CVE-2025-32711 (2025)
EchoLeak – sada ispravljen – bio je tehnika za višefazni injektiranjem kroz više upita koji je u određenim uvjetima mogao izvući ograničene podatke kojima je žrtva već imala pristup. Pažljivo osmišljena poruka e-pošte – dizajnirana da djeluje bezazleno – mogla bi tiho „zatrovati” upit koji Copilot vidi i potaknuti ga da bez znanja žrtve otkrije ograničene interne podatke. Microsoft je brzo izdao ažuriranja za otklanjanje grešaka CVE-2025-32711. Ranjivost je istaknula suptilan, ali ozbiljan rizik: mogućnost da AI sustavi nenamjerno otkriju osjetljive podatke korisnika kroz neizravnu manipulaciju upitom.

Rizici prekomjernih ovlasti
Copilot nasljeđuje ovlasti svojih korisnika. Ako netko i dalje ima pristup podacima iz prethodnog odjela, Copilot može te informacije prikazati u generiranim izlazima. Slično tome, osjetljivi podaci dostupni jednom zaposleniku mogu se pojaviti u AI sažecima, što stvara rizike za usklađenost i privatnost. Organizacije to mogu ublažiti pristupom prema načelu najmanjih ovlasti, kontrolama temeljenima na ulogama i DLP pravilima u Microsoft Purviewu. Uz to, korištenje načina rada Istraživač u M365 Copilotu može pomoći u proaktivnom otkrivanju propusta u dodjeli ovlasti prije nego što prerastu u sigurnosni problem. Ključno je pravilo vjerovati AI-ju samo s podacima za koje vam je prihvatljivo da im pristupa, odnosno s informacijama koje si možete priuštiti izložiti. Organizacije bi trebale provesti procjenu modela rizika i plan ublažavanja kako bi pažljivo procijenile s kojim podacima Copilot može sigurno raditi, umjesto da ga postave u središte visoko povjerljivih tijekova rada.

Zlouporaba iznutra i operativne pogreške
Ne dolaze svi incidenti od vanjskih prijetnji. U nekim slučajevima interni korisnici mogu upotrebljavati alate poput Copilota za generiranje izvješća koja sadržavaju osjetljive podatke, a da ih pritom ne pregledaju dovoljno temeljito. Ublažavanje uključuje obuku, nadzor, otkrivanje anomalija i politike upravljanja kako bi AI ostao pouzdan asistent, a ne alat bez nadzora.

Neizravno trovanje podataka i manipulacija upitima
AI sustavi ranjivi su na mnogo načina, uključujući suptilne, ali vrlo učinkovite tehnike poput neizravnog trovanja podataka i manipulacije upitima, koje mogu tiho oblikovati ponašanje modela bez očitih znakova upozorenja. Te metode uključuju oblikovanje unosa koji usmjeravaju izlaze u rizičnom smjeru, primjerice prema otkrivanju osjetljivih informacija ili unošenju pristranosti. Skriveni upiti, poput teksta kodiranog u heksadecimalnom obliku ili nevidljivog oblikovanja, mogu suptilno utjecati na sažetke Copilota i povremeno prikazati zastarjele ili neočekivane informacije. Primjenom kontroliranog unosa sadržaja, provjerom metapodataka i pažljivim nadzorom AI interakcija, organizacije mogu zadržati pouzdanost AI alata i osigurati da i dalje donose vrijednost bez uvođenja nenamjernih rizika.

Ovi primjeri pokazuju da se sigurnost AI-ja često svodi na ljudsko ponašanje, rukovanje podacima i interpretaciju, a ne samo na softverske propuste. Uz odgovarajuće zaštitne mjere, organizacije mogu učinkovito upotrebljavati alate Copilota uz minimalnu nenamjernu izloženost. Saznajte više u sljedećem odjeljku Siguran AI za snažan temelj – obuka | Microsoft Learn.

Spremnost za incidente u doba AI-ja: mapa sprječavanje – otkrivanje – odgovor


Put naprijed ne znači ukloniti svaku moguću prijetnju – to nije realno. Riječ je o tome da se sigurnost ugradi u dizajn od prvog dana. To znači primjenu načela „svi su nepouzdani”. Najotpornije će biti one organizacije koje te incidente tretiraju kao prilike za učenje i prilagodbu, vraćajući svaku lekciju natrag u svoje sigurnosne okvire.

U nastavku je pregled praktičnih sigurnosnih scenarija, uz preventivne kontrole, signale za otkrivanje i proceduralne priručnike za odgovor koje organizacije mogu upotrijebiti za izgradnju otpornosti od samog početka.
  • Sprječavanje: Primijenite oznake osjetljivosti u Purviewu i DLP pravila; blokirajte Copilotu obradu datoteka označenih kao „Vrlo povjerljivo”.

    Otkrivanje:
    Zapisi iz Purviewa/UAL-a koji prikazuju Copilotove upite prema ograničenim datotekama; DLP upozorenja u Sentinelu.

    Odgovor:
    Stavite izlaz u karantenu, obavijestite vlasnika datoteke, prilagodite DLP pravilo.

    Praktičan scenarij:
    Financijski direktor traži od Copilota da „sažme sva tromjesečna izvješća”. Osjetljivi dokumenti upravnog odbora isključeni su iz obrade.
  • Sprječavanje: Omogućite Štitove za upite; očistite unose iz e-pošte, zapisnika i vanjskih izvora prije nego što ih Copilot obradi.

    Otkrivanje:
    Upozorenja u Sentinelu na sumnjiv unos ili unos neovlaštenim otključavanjem korisnika zabilježen u botu za razgovor.

    Odgovor:
    Blokirajte zlonamjernu sesiju, uklonite nesigurne izlaze, pojačajte zaštitne barijere.

    Praktičan scenarij:
    Napadač šalje oblikovan upit kako bi manipulirao AI botom za razgovor korisničke podrške organizacije; bot za razgovor ignorira umetnute upute.
  • Sprječavanje: Provjerite izvore unosa, uvedite potpisivanje izvora i ograničite pravo pisanja.

    Otkrivanje: Nadzorni zapisnici i upozorenja o pristupu dokumentu kontrolne vrijednosti; Sentinel otkriva neuobičajena ažuriranja baze znanja.

    Odgovor:
    Vratite ugroženu bazu znanja na prethodno stanje, opozovite ključeve za unos i obavijestite tim za odgovor na incidente.

    Praktičan scenarij:
    Neovlašteni zaposlenik prenese lažni priručnik za „odgovor na incidente”; dokument kontrolne vrijednosti pokreće otkrivanje.
  • Sprječavanje: Provjerite izvore unosa, uvedite potpisivanje izvora i ograničite pravo pisanja.

    Otkrivanje:
    Nadzorni zapisnici i upozorenja o pristupu dokumentu kontrolne vrijednosti; Sentinel otkriva neuobičajena ažuriranja baze znanja.

    Odgovor:
    Rotirajte izložene vjerodajnice, uklonite nesigurno izvršavanje i ponovo educirajte tim.

    Praktičan scenarij:
    Mlađi razvojni inženjer zalijepi API ključ u kod; Copilot ga kasnije predloži drugdje, ali provjera tajni zaustavlja spajanje.
  • Sprječavanje: Kontrola pristupa temeljena na ulogama i načelo najmanjih ovlasti za poveznike; ograničite pristup osjetljivim sustavima.

    Otkrivanje:
    Sentinelovo otkrivanje anomalija u masovnim upitima za podatke iz Copilota.

    Odgovor:
    Onemogućite poveznik, suspendirajte račun i provedite HR/sigurnosni pregled.

    Praktičan scenarij:
    Korisnik u prodaji iz Copilota izvlači tisuće zapisa o kupcima; neuobičajen volumen upita pokreće upozorenje.
  • Sprječavanje: Ograničite dozvole poveznika za Copilot; pratite kretanje podataka između klijenata i prema vanjskim odredištima.

    Otkrivanje: Upozorenja iz Purviewa i Sentinela za velike prijenose datoteka ili neuobičajenu upotrebu poveznika.

    Odgovor: Blokirajte poveznik, opozovite tokene i stavite izlaze u karantenu.

    Praktičan scenarij: Copilot povezan s OneDriveom pokušava poslati označene dokumente na osobni Gmail poveznik.
  • Sprječavanje: Primijenite Conditional Access i Defender for Cloud Apps kako biste blokirali neodobrene AI usluge.

    Otkrivanje: Upozorenja iz Microsoft Cloud App Securityja/Defendera na promet AI aplikacija; Sentinelova analitika na događaje davanja OAuth dozvola.

    Odgovor:
    Opozovite tokene, obavijestite korisnika i nametnite odobrenu upotrebu Copilota.

    Praktičan scenarij:
    Zaposlenik pokušava povezati Copilot s vanjskim alatom za sažimanje s pomoću AI-ja bez odobrenja.
  • Sprječavanje: Konfigurirajte Safe Links/Safe Attachments i educirajte zaposlenike o rizicima krađe identiteta pogonjenog Copilotom.

    Otkrivanje:
    Defender otkriva neuobičajene skokove u slanju e-pošte ili obrasce formulacija koje je generirao Copilot.

    Odgovor:
    Blokirajte pošiljatelja, opozovite tokene poštanskog sandučića i automatski onemogućite pravila.

    Praktičan scenarij:
    Ugroženi račun upotrebljava M365 Copilot za generiranje individualizirane krađe identiteta.
  • Sprječavanje: Educirajte zaposlenike o ograničenjima Copilota; uvedite pregled uz uključenost čovjeka za osjetljive procese.

    Otkrivanje:
    Sentinel otkriva visokorizične radnje pokrenute upitima koje je predložio AI.

    Odgovor:
    Vratite radnju na prethodno stanje, obavijestite odobravatelja i ponovo educirajte korisnika.

    Praktičan scenarij:
    Copilot predloži pogrešnu naredbu za sanaciju u upozorenju sigurnosnog operativnog centra (SOC); pregled analitičara sprječava štetu.

Izgradnja sigurnog AI od samog početka

AI pomoćnici mijenjaju način na koji organizacije rade – pomažu ubrzati uvid, smanjiti ručni rad i omogućiti timovima da se usredotoče na poslove veće vrijednosti. No napredak bez zaštite kratkoga je vijeka. Stvarna konkurentska prednost ne leži u tome da se AI uvede najbrže, nego u tome da se od prvog dana uvodi sigurno i odgovorno.

Microsoftov ekosustav Copilota, uključujući Security Copilot, pokazuje kako ta ravnoteža izgleda u praksi: inovacija vođena upravljanjem. Kada organizacije uvedu snažne kontrole pristupa, robusna pravila za rukovanje podacima i kontinuirani nadzor nad načinom korištenja Copilota, AI iz alata za povećanje produktivnosti pretvaraju u pouzdanu stratešku imovinu.

Izgradnja sigurne AI od samog početka nije samo tehnički prioritet, nego i obveza vodstva. Rukovoditelji koji u svoje AI programe ugrade sigurnost, spremnost i transparentnost ne samo da će smanjiti rizik nego će i ojačati povjerenje dionika, regulatorno povjerenje i dugoročnu otpornost. U ovom modelu Security Copilot postaje više od alata – postaje partner u izgradnji sigurne i odgovorne budućnosti za poduzeće.

Više ovakvih sadržaja

Naslovnica knjige s prikazom osobe koja upotrebljava prijenosno računalo i pokazuje prstom prema tipkovnici.

Početak rada s aplikacijama umjetne inteligencije

Izgradite sigurnu osnovu za AI aplikacije kroz fazni pristup.
Naslovnica knjige na kojoj je prikazan muškarac koji gleda u zaslon računala.

Strategije upravljanja umjetnom inteligencijom

Praktični koraci za izgradnju povjerenja, smanjenje rizika, optimizaciju troškova i poticanje inovacija.
Bijeli crtež papira u omotnici s riječju Novo na plavoj pozadini.

Preuzmite CISO Digest

Budite korak ispred uz stručne uvide, trendove u djelatnosti i istraživanja sigurnosti u ovom dvomjesečnom serijalu e-pošte.

Pratite Microsoft Security

Hrvatski (Hrvatska) Zaštita privatnosti podataka o zdravlju potrošača Kontaktirajte Microsoft Zaštita privatnosti Upravljanje kolačićima Uvjeti korištenja Zaštitni znakovi O našim oglasima EU Compliance DoCs