This is the Trace Id: 6c0e241d940d90ab2a219e46d77938ab
Pređi na glavni sadržaj Security Insider Cyber Pulse Microsoft izveštaj o digitalnoj bezbednosti Okruženje pretnji Najnoviji trendovi Prijavite se za CISO Digest Microsoft Security Azure Dynamics 365 Microsoft 365 Microsoft Teams Windows 365 Microsoft AI Azure Space Mešovita realnost Microsoft HoloLens Microsoft Viva Kvantno računarstvo Education Automobili Finansijske usluge Vlada Zdravstvo Proizvodnja Maloprodaja Pronađite partnera Postanite partner Partnerske mreže Microsoft Marketplace Softverska preduzeća Blog Microsoft Advertising Razvojni centar Documentation Events Licensing Microsoft Learn Microsoft Research Prikaži mapu lokacije

Serija o bezbednosti AI aplikacija, deo 1: bezbednosni faktori koje treba razmotriti pri usvajanju AI alatki

Deljenje
Žena gleda u ekran računara.

Uspostavljanje ravnoteže između rizika i koristi koje donosi AI

Veštačka inteligencija (AI) je za kratko vreme prešla iz faze eksperimentisanja u fazu izvršavanja, transformišući način na koji organizacije rade, donose odluke i upravljaju rizicima. Kako AI postaje sastavni deo tokova posla za produktivnost, saradnju i bezbednost, tako menja i brzinu i obim posla koji se obavlja.

Međutim, ova ubrzana transformacija otvara i nove putanje za eksploataciju. Zlonamerni akteri već koriste AI za izviđanje, društveni inženjering i automatizaciju. Na taj način oni pretvaraju moćnu alatku za odbranu u potencijalno sredstvo za izvođenje napada. Bezbednost se stoga više ne odnosi isključivo na zaštitu tradicionalnih sistema i podataka, već i na razumevanje i obezbeđivanje načina na koji se pristupa veštačkoj inteligenciji, kako se koristi i kako se implementira u okviru organizacije.

AI alatke takođe donose suptilnije izazove. Sistemi mogu pogrešno da protumače podatke, da prave greške ili da ispoljavaju neočekivane pristrasnosti. Rezultati mogu da se menjaju tokom vremena kako se modeli ažuriraju ili dodatno obučavaju. To znači da bezbednost nije samo zaštita softvera; ona podrazumeva nadgledanje ponašanja, proveru valjanosti rezultata i implementaciju okvira upravljanja kojima se obezbeđuje odgovorna upotrebu AI alatki. Bez ovih kontrola, čak i aplikacije dizajnirane s dobrom namerom mogu dovesti do operativnih rizika.

U ovom članku istražujemo praktične aspekte bezbednosti koje organizacije treba da uzmu u obzir u vremenu kada AI postaje centralna za radne procese. Od sprečavanja zloupotrebe i nametanja upravljačkih okvira do nadgledanja i kontrole pristupa, razmotrićemo kako organizacije mogu da koriste AI na bezbedan i efikasan način.

Proširivanje putanja za zloupotrebu AI aplikacija

Sve veća zavisnost od veštačke inteligencije uvodi dodatne potencijalne ulazne putanje koje zlonamerni akteri mogu da iskoriste. Zlonamerni akteri sada mogu da koriste AI za skaliranje phishing kampanja, personalizaciju poruka društvenog inženjeringa ili automatizaciju aktivnosti koje se ponavljaju u okviru napada.

Kako AI alatke postaju sastavni deo poslovnih operacija, organizacije moraju biti svesne da njihova primena proširuje površinu napada i povećava postojeće rizike. Četiri ključne oblasti rizika uključuju:

Rizik vezan za podatke: Uz odgovarajuće dozvole, Microsoft Copilot može da pristupi vašoj e-pošti, dokumentima i porukama unutar aplikacije Teams radi pružanja kontekstualno relevantnih odgovora. To može dovesti do nenamernog otkrivanja osetljivih informacija. Na primer, ako korisnik u upit unese osetljive podatke kao što su lozinke, vlasnički kôd ili poverljivi podaci, oni mogu biti otkriveni. Organizacije mogu ublažiti ovaj rizik kroz smernice za sprečavanje gubitka podataka (DLP) u okviru usluge Microsoft Purview, kroz pristup sa najnižim nivoom privilegija, kao i sprovođenjem obavezne klasifikacije podataka.

Rizik vezan za ponašanje AI i generisani sadržaj: Copilot generiše odgovore direktno na osnovu unesenog upita. Zlonamerna ili obmanjujuća uputstva – bilo da su ugrađena ili skrivena u dokumentima ili bazama znanja – mogu proizvesti rezultate koji nisu bezbedni. Napadi putem ubacivanja upita ili oštećeni sadržaj mogu otkriti osetljive informacije ili dati pogrešne preporuke. Rizik ne potiče samo od eksternih aktera; i zaposleni sa legitimnim pristupom mogu da zloupotrebe sisteme. Organizacije mogu ublažiti ove rizike kroz proveru valjanosti unesenih podataka, nadgledanje insajderskog rizika, skeniranje metapodataka, kontrolisani unos sadržaja i ljudski pregled.

Zloupotreba automatizacije i operacija: AI brzo izvršava zadatke koji se ponavljaju, od izrade radnih verzija e-poruka do generisanja izveštaja. Ova efikasnost može doprineti većem broju grešaka ili biti predmet zloupotrebe od strane internih korisnika. Na primer, analitičar bezbednosti pod pritiskom može previše da se osloni na rezultate funkcije Security Copilot i da zbog toga propusti važan kontekst. Zato je važno kombinovati ljudski pregled, nadgledanje i smernice za upravljanje, poput obavezne obuke zaposlenih, kako bi AI bila alatka za pomoć, a ne zamena za ljudski sud.

Rizik vezan za primenu i infrastrukturu: Copilot je duboko integrisan sa sistemom Microsoft 365, platformom Azure i aplikacijama nezavisnih proizvođača. Pogrešno konfigurisani konektori ili nedovoljno ograničene integracija mogu proširiti pristup i stvoriti potencijalne ulazne tačke za napadače. Redovni pregledi konfiguracije, smernice za uslovni pristup i nadgledanje API-ja pomažu u održavanju bezbednog okruženja.

AI incidenti u praksi: lekcije iz stvarnih napada

Kako AI alatke kao što je Microsoft Copilot postaju sve važnije za poslovne operacije, istraživanja i testiranja u stvarnim uslovima otkrivaju nove ranjivosti. Zlonamerni akteri brzo pronalaze nove načine da zloupotrebe ove alatke, uključujući njihovu upotrebu u okviru lanca napada, kao što je metod korišćenja postojećih resursa u tradicionalnim napadima. Iako je reč o novoj tehnologiji, Microsoft je integriše u poznate i dokazane procese, uključujući koordinisano otkrivanja ranjivosti sa ciljem da se rizici bezbedno identifikuju i ublaže. Ovi slučajevi predstavljaju vredne lekcije za organizacije, ne zato što su alatke „zakazale“ u uobičajenom smislu, već zato što otkrivaju neočekivane načine na koje AI može da bude zloupotrebljena u interakciji sa podacima i ljudskim tokovima posla.

CVE-2025-32711 (2025)
EchoLeak – ranjivost koja je u međuvremenu otklonjena – predstavljala je tehniku napada unakrsnim ubacivanjem upita u više faza, koja pod određenim uslovima može da omogući eksfiltraciju ograničene količine podataka kojima je žrtva već imala pristup. Pažljivo sročena e-poruka – osmišljena da deluje bezazleno – može neprimetno da „zatruje“ upit koji Copilot obrađuje, što bi dovelo do curenja ograničenog obima internih podataka bez znanja korisnika. Microsoft je u kratkom roku objavio ispravke kojima je otklonjen ovaj bezbednosni propust CVE-2025-32711. Ova ranjivost je skrenula pažnju na suptilan, ali značajan rizik: potencijal da AI sistemi nenamerno izlože osetljive podatke korisnika putem indirektne manipulacije upita.

Rizici prekomerno dodeljenih dozvola
Copilot nasleđuje dozvole svojih korisnika. Ako neko zadrži pristup podacima iz prethodnog odeljenja, Copilot može da prikaže te informacije u generisanim rezultatima. Slično tome, osetljivi podaci dostupni jednom zaposlenom mogu da se pojave u AI rezimeima, što stvara rizike u pogledu usaglašenosti i privatnost. Organizacije to mogu da ublaže kroz pristup sa najnižim nivoom privilegija, kontrole zasnovane na ulogama i smernica za DLP podataka u okviru usluge Microsoft Purview. Pored toga, korišćenje režima „Istraživač“ u okviru usluge Microsoft 365 Copilot može omogućiti proaktivno otkrivanju propusta u modelu dodele dozvola pre nego što isti prerastu u bezbednosni rizik. Ključni princip je da veštačkoj inteligenciji omogućite pristup samo onim podacima čije bi eventualno otkrivanje bilo prihvatljivo za organizaciju. Organizacije bi trebalo da uspostave model procene rizika i plan za smanjenje rizika kako bi pažljivo procenile kojim podacima funkcija Copilot može bezbedno pristupati i koje može obrađivati, umesto da istu postavljaju u središte strogo poverljivih tokova posla.

Interna zloupotreba i operativni propusti
Nisu svi bezbednosni incidenti posledica eksternih pretnji. Dešava se da interni korisnici koriste alatke kao što je Copilot za generisanje izveštaja koji sadrže poverljive podatke, bez pažljive provere njihovog sadržaja. Smanjenje rizika se može postići kroz obuku, nadgledanje, otkrivanje anomalija i smernice upravljanja kako bi AI ostao pouzdan pomoćnik, a ne alatka bez odgovarajuće kontrole.

Indirektno trovanje podataka i manipulacija upitima
AI sistemi su ranjivi na različite vrste napada, uključujući suptilne, ali veoma efikasne tehnike poput indirektnog trovanja podataka i manipulacije upitima, koje mogu neprimetno uticati na ponašanje modela bez očiglednih znakova upozorenja. Ove metode koriste posebno osmišljene upite kojima se usmerava generisanje rezultata na rizične načine, na primer radi otkrivanja osetljivih informacija ili uvođenja pristrasnosti. Skriveni upiti, poput teksta kodiranog u heksadecimalnom formatu ili sadržaja sa nevidljivim formatiranjem, mogu suptilno uticati na Copilot rezimee, što ponekad dovodi do prikazivanja zastarelih ili neočekivanih informacija. Kontrolisano upravljanje sadržajem, provera valjanosti metapodataka i pažljiv nadzor interakcija sa AI sistemima pomažu organizacijama da očuvaju pouzdanost ovih alatki i ostanu korisne, bez uvođenja neželjenih rizika.

Navedeni primeri pokazuju da je bezbednost AI sistema u velikoj meri povezana sa ljudskim ponašanjem, načinom na koji upravljaju podacima i tumače generisane rezultate, a ne isključivo sa nedostacima u softveru. Uz odgovarajuće zaštitne mere, organizacije mogu efikasno da koriste Copilot alatke dok istovremeno smanjuju rizika od nenamernog otkrivanja podataka. Saznajte više na stranici Bezbedna AI za čvrstu osnovu – Obuka | Microsoft Learn.

Spremnost na incidente u eri veštačke inteligencije: mapiranje modela prevencija–otkrivanje–odgovor


Put napred ne podrazumeva eliminaciju svake moguće pretnje – to nije realno. Pri dizajniranju je potrebno razmišljati o bezbednosti od samog početka. To znači usvajanje pristupa Nulte pouzdanosti. Najotpornije će biti one organizacije koje takve incidente koriste kao prilike za učenje i prilagođavanje, koje će svaku naučenu lekciju integrisati u svoje bezbednosne okvire.

Ispod je mapa praktičnih scenarija pretnji sa preventivnim kontrolama, signalima za otkrivanje i pravilnicima za odgovor na incidente koje organizacije mogu da koriste kako bi od početka izgradile otpornost.
  • Prevencija: Primena Purview oznake osetljivosti i DLP pravila; sprečiti Copilot da obrađuje datoteke sa oznakom „Strogo poverljivo“.

    Otkrivanje:     Purview/UAL evidencije koje pokazuju Copilot upite nad datotekama sa ograničenim pristupom; Sentinel DLP upozorenja.

    Odgovor:     Staviti generisani sadržaj u karantin, obavestiti vlasnika datoteke i prilagoditi smernice za DLP.

    Praktičan scenario:     Direktor odeljenja za finansije traži od funkcije Copilot da „rezimira sve kvartalne izveštaje“. Osetljivi dokumenti namenjeni upravnom odboru se isključuju iz obrade.
  • Prevencija: Omogućiti Prompt Shields zaštitu; sanirati unose iz e-poruka, evidencija i eksternih izvora pre nego što ih Copilot obradi.

    Otkrivanje:     Sentinel upozorenja na sumnjive korisničke unose ili unose u stilu džejlbrejka koje je evidentirao bot za ćaskanje.

    Odgovor:     Blokirati zlonamernu sesiju, ukloniti nebezbedne izlaze, pooštriti zaštitne mehanizme.

    Praktičan scenario:     Zlonamerni akter šalje posebno kreiran upit kako bi manipulisao AI botom za korisničku podršku. Bot za ćaskanje ignoriše ubačena uputstva.
  • Prevencija: Proveriti valjanost izvora unosa, sprovesti potpisivanje izvora i ograničiti pristup za upisivanje.

    Otkrivanje: Evidencije nadzora i upozorenja na pristup Canary dokumentu; Sentinel otkriva neuobičajena ažuriranja baze znanja.

    Odgovor:     Vratiti kompromitovanu bazu znanja na prethodnu verziju, opozvati ključeve za unos podataka i obavestiti tim za reagovanje na incident.

    Praktičan scenario:     Neovlašćeni interni korisnik otprema lažni pravilnik o „reagovanju na incident“; Canary dokumentu aktivira mehanizam za otkrivanje.
  • Prevencija: Proveriti valjanost izvora unosa, sprovesti potpisivanje izvora i ograničiti pristup za upisivanje.

    Otkrivanje:     Evidencije nadzora i upozorenja na pristup Canary dokumentu; Sentinel otkriva neuobičajena ažuriranja baze znanja.

    Odgovor:     Rotirati izložene akreditive, ukloniti nebezbedno izvršavanje i sprovesti dodatnu obuku tima.

    Praktičan scenario:     Mlađi projektant je slučajno nalepio API ključ u kôd; Copilot predlože da to učini na drugoj lokaciji, ali skeniranje tajnog kôda zaustavlja objedinjavanje.
  • Prevencija: Primeniti kontrolu pristupa na osnovu uloga i principa najnižeg nivoa privilegija za konektore; ograničiti pristup osetljivim sistemima.

    Otkrivanje:     Sentinel otkrivanje anomalija za masovne upite nad podacima u funkciji Copilot.

    Odgovor:     Isključiti konektor, obustaviti nalog i sprovesti internu proveru u saradnji sa Službom za ljudske resurse i bezbednosnim timom.

    Praktičan scenario:     Zaposleni iz odeljenja za prodaju koristi Copilot za preuzimanje velikog broja podataka o klijentima. Zbog neuobičajeno velikog obima zahteva, sistem automatski generiše upozorenje.
  • Prevencija: Ograničiti dozvole za Copilot konektore; nadgledati prenos podataka između različitih zakupaca ili ka spoljnim sistemima.

    Otkrivanje: Purview i Sentinel upozorenja za otkrivanje velikih prenosa datoteka ili neuobičajene upotrebe konektora.

    Odgovor: Blokirati konektor, opozvati tokene za pristup i staviti generisani sadržaj u karantin.

    Praktičan scenario: Copilot povezan sa uslugom OneDrive pokušava da pošalje označene dokumente na lični Gmail konektor.
  • Prevencija: Primeniti smernice za uslovni pristup i Defender for Cloud Apps kako bi se blokirale neodobrene AI usluge.

    Otkrivanje: Upozorenja iz usluge Bezbednost aplikacija u oblaku/Defender u vezi sa saobraćajem prema AI aplikacijama; Sentinel analitika za događaje dodeljivanja OAuth dozvola.

    Odgovor:     Opozvati tokene, obavestiti korisnika i sprovesti korišćenje odobrenih Copilot rešenja.

    Praktičan scenario:     Zaposleni pokušava da poveže Copilot sa eksternom AI alatkom za rezimiranje sadržaja bez prethodnog odobrenja.
  • Prevencija: Konfigurisati bezbedne veze/bezbedne priloge i obučiti zaposlene o rizicima phishing napada uz pomoć funkcije Copilot.

    Otkrivanje:     Defender detektuje neuobičajene skokove u broju poslatih e-poruka ili obrasce formulacije koji ukazuju na sadržaj generisan putem funkcije Copilot.

    Odgovor:     Blokirati pošiljaoca, opozvati tokene za poštanske sandučiće i automatski isključiti pravila.

    Praktičan scenario:     Kompromitovan nalog koristi Microsoft 365 Copilot za kreiranje ciljane phishing kampanje.
  • Prevencija: Obučiti zaposlene o ograničenjima funkcije Copilot; sprovesti ljudski pregled za osetljive tokove posla.

    Otkrivanje:     Sentinel otkriva rizične radnje pokrenute na osnovu AI predloga u upitima.

    Odgovor:     Opozvati izvršenu radnju, obavestiti davaoca odobrenja i dodatno obučiti korisnika.

    Praktičan scenario:     Copilot predlaže pogrešnu komandu za oporavak u centru za bezbednosne operacije (SOC), ali analitičar pravovremenom proverom sprečava štetu.

Kreiranje bezbedne AI od samog početka

Copilot agenti redefinišu način na koji organizacije funkcionišu – ubrzavaju uvid u podatke, smanjuju ručni rad i omogućavaju timovima da se fokusiraju na poslove od veće vrednosti. Ali napredak bez zaštite ne traje dugo. Prava konkurentska prednost nije u tome da usvojite AI brže od ostalih, već da to uradite bezbedno i odgovorno od prvog dana.

Copilot ekosistem korporacije Microsoft, uključujući Security Copilot, demonstrira kako ovaj balans izgleda u praksi: inovacije vođene upravljanjem. Kada organizacije primenjuju snažne kontrole pristupa, rigorozne smernice za obradu podataka i stalni nadzor nad načinom korišćenja Copilot agenata, one time pretvaraju AI iz alatke za poboljšanje produktivnosti u pouzdan strateški resurs.

Kreiranje bezbedne AI od samog početka nije samo tehnički prioritet, već i imperativ rukovodstva. Rukovodioci koji u svoje AI programe integrišu bezbednost, spremnost i transparentnost ne samo da smanjuju rizik, već i jačaju pouzdanost zainteresovanih strana, poverenje u regulatorni proces i dugoročnu otpornost. U ovom modelu, Security Copilot postaje više od alatke – postaje partner u izgradnji bezbedne budućnosti u kojoj su organizacije odgovorne za svoje postupke.

Više sličnih sadržaja

Naslovna strana knjige na kojoj se vidi osoba koja koristi laptop i prstom pokazuje prema tastaturi.

Prvi koraci u radu sa AI aplikacijama

Izgradite bezbednu osnovu za AI aplikacije kroz fazni pristup.
Pročitajte vodič
Naslovna strana knjige na kojoj se vidi muškarac koji gleda u ekran računara.

Strategije za upravljanje veštačkom inteligencijom

Praktični koraci za izgradnju poverenja, smanjenje rizika, optimizaciju troškova i podsticanje inovacija.
Pročitajte vodič
Beli linijski crtež papira u koverti sa natpisom „Novo“ na plavoj pozadini.

Preuzmite CISO Digest

Budite u toku sa stručnim uvidima, trendovima u sektoru i istraživanjima bezbednosti u ovom serijalu e-poruka, dva puta mesečno.
Registrujte se

Pratite Microsoft bezbednost

Microsoft Copilot Microsoft 365 Aplikacije za Windows 11 Profil naloga Centar za preuzimanje Praćenje porudžbine Microsoft Education Uređaji za obrazovanje Microsoft Teams za obrazovanje Microsoft 365 Education Office Education Obuka i razvoj predavača Ponude za studente i roditelje Azure za studente
Microsoft AI Microsoft Security Azure Dynamics 365 Microsoft 365 Microsoft Advertising Microsoft 365 Copilot Microsoft Teams Microsoft projektant Microsoft Learn Microsoft Tech zajednica Microsoft Marketplace Microsoft Power Platform Softverska preduzeća Visual Studio Zaposlenje Privatnost u kompaniji Microsoft Investitori
Srpski (latinica, Srbija) Zaštita privatnosti potrošača Obratite se korporaciji Microsoft Privatnost Upravljanje kolačićima Uslovi korišćenja Žigovi O našim oglasima