This is the Trace Id: eb5b05261a8d1074a7544d4af9729d32
Pereiti prie pagrindinio turinio Security Insider „Cyber Pulse“ „Microsoft“ skaitmeninės gynybos ataskaita Grėsmių aplinka Besiformuojančios tendencijos Prisiregistruokite prie „CISO Digest“ „Microsoft“ sauga „Azure” Dynamics 365 „Microsoft 365“ Microsoft Teams Windows 365 „Microsoft“ dirbtinis intelektas „Azure Space“ Mišrioji realybė „Microsoft HoloLens“ „Microsoft Viva“ Kvantinė kompiuterija Švietimas Autotransportas Finansinės paslaugos Valstybės institucijos Sveikatos priežiūra Gamyba Mažmeninė prekyba Raskite partnerį Tapkite partneriu Partnerių tinklas Microsoft Marketplace Programinės įrangos įmonės Tinklaraštis Microsoft Advertising Kūrėjų centras Dokumentacija Įvykiai Licencijuojama Microsoft Learn Microsoft Research Rodyti svetainės struktūrą

1 DI programų saugos serija: saugos aspektai diegiant DI įrankius

Bendrinti
Moteris, žiūrinti į kompiuterio ekraną.

DI rizikos ir naudos balansas

Dirbtinis intelektas (DI) per trumpą laiką iš eksperimentavimo etapo perėjo prie praktinio taikymo ir keičia organizacijų veiklą, sprendimų priėmimą bei rizikos valdymą. DI vis labiau įsiliejant į produktyvumo, bendradarbiavimo ir saugos procesus, keičiasi ir darbo sparta, ir mastas.

Tačiau šis pagreitis atveria ir daugiau išnaudojimo galimybių. Grėsmių sukėlėjai jau pasitelkia dirbtinį intelektą žvalgybai, socialinei inžinerijai ir automatizavimui. Paversdami galingą gynybos priemonę potencialiu puolamuoju ginklu. Todėl sauga nebėra vien tradicinių sistemų ir duomenų apsauga – dabar svarbu suprasti, kaip dirbtinis intelektas naudojamas organizacijoje, ir užtikrinti jo prieigos, taikymo bei diegimo saugą.

DI įrankiai taip pat kelia ir subtilesnių iššūkių. Sistemos gali neteisingai interpretuoti duomenis, klysti arba rodyti netikėtas nuostatas. Rezultatai laikui bėgant gali kisti, kai modeliai atnaujinami arba tobulinami. Tai reiškia, kad sauga – tai ne tik programinės įrangos apsauga; būtina stebėti elgseną, tikrinti rezultatus ir diegti valdymo sistemas, užtikrinančias atsakingą DI įrankių naudojimą. Be šių priemonių net ir programos, skirtos geriems tikslams, gali sukelti veiklos riziką.

Šiame straipsnyje aptariami praktiniai saugumo aspektai, į kuriuos organizacijos turėtų atsižvelgti, nes dirbtinis intelektas tampa neatsiejama darbo dalimi. Apžvelgsime, kaip organizacijos gali saugiai ir veiksmingai pasinaudoti dirbtinio intelekto teikiama nauda – nuo piktnaudžiavimo prevencijos ir valdymo politikos užtikrinimo iki prieigos stebėsenos ir kontrolės.

DI programų išnaudojimo galimybių plėtra

Didėjanti priklausomybė nuo dirbtinio intelekto sudaro daugiau galimų prieigos kelių, kuriais gali pasinaudoti grėsmių sukėlėjai. Grėsmių sukėlėjai dabar gali pasitelkti dirbtinį intelektą, kad galėtų didinti duomenų viliojimo kampanijų mastą, pritaikyti socialinės inžinerijos pranešimus ir automatizuoti pasikartojančias atakų užduotis.

Dirbtinio intelekto priemonėms tampant neatsiejama verslo veiklos dalimi, organizacijos turi pripažinti, kad jų diegimas didina atakos paviršių ir stiprina esamą riziką. Štai keturios pagrindinės rizikos sritys:

Rizika duomenims: Turėdamas tinkamus leidimus, „Microsoft Copilot“ gali pasiekti jūsų el. laiškus, dokumentus ir „Teams“ žinutes, kad pateiktų į kontekstą orientuotus atsakymus. Ši prieiga gali netyčia atskleisti slaptą informaciją. Pavyzdžiui, jei vartotojas į užklausą įtraukia slaptą informaciją, pvz., slaptažodžius, nuosavybės teisėmis priklausantį kodą ar konfidencialius duomenis, jie gali būti atskleisti. Organizacijos gali sumažinti šią riziką taikydamos duomenų praradimo prevencijos (DLP) politiką „Microsoft Purview“ aplinkoje, mažiausių privilegijų prieigą ir privalomą duomenų klasifikavimą.

DI elgsenos ir turinio rizika: „Copilot“ tiesiogiai reaguoja į jam pateikiamas įvestis. Piktybinės arba klaidinančios instrukcijos – tiek įterptos, tiek paslėptos dokumentuose ar žinių bazėse – gali sukurti nesaugius rezultatus. Raginimų įterpimo atakos arba pažeistas turinys gali atskleisti slaptą informaciją arba lemti neteisingas rekomendacijas. Riziką kelia ne vien išoriniai grėsmių sukėlėjai – sistemomis taip pat gali piktnaudžiauti teisėtą prieigą turintys darbuotojai. Organizacijos gali mažinti riziką taikydamos įvesties duomenų tikrinimą, stebėdamos vidaus grėsmes, nuskaitydamos metaduomenis, kontroliuodamos turinio įkėlimą ir užtikrindamos žmogaus atliekamą peržiūrą.

Automatizavimo ir veiklos piktnaudžiavimo rizika: DI greitai atlieka pasikartojančias užduotis – nuo el. laiškų rengimo iki ataskaitų generavimo. Toks efektyvumas gali padidinti klaidų poveikį arba būti netinkamai naudojamas darbuotojų, turinčių teisėtą prieigą. Pavyzdžiui, spaudimą patiriantis saugumo analitikas gali pernelyg pasikliauti „Security Copilot“ pateikiamais rezultatais ir nepastebėti svarbaus konteksto. Žmogaus atliekama peržiūra, stebėsena ir valdymo politikos, pavyzdžiui, privalomi darbuotojų mokymai, padeda užtikrinti, kad dirbtinis intelektas padėtų žmonėms priimti sprendimus, o ne pakeistų jų vertinimą.

Diegimo ir infrastruktūros rizika: „Copilot“ giliai integruotas į „Microsoft 365“, „Azure“ ir trečiųjų šalių programas. Netinkamai sukonfigūruotos jungtys arba pernelyg plačias teises suteikiančios integracijos gali išplėsti prieigą ir sukurti galimus patekimo taškus užpuolikams. Reguliarios konfigūracijos peržiūros, sąlyginės prieigos strategijos ir API stebėsena padeda palaikyti saugią aplinką.

Su DI susiję incidentai realioje aplinkoje: tikrų atakų pamokos

Dirbtinio intelekto priemonėms, tokioms kaip „Microsoft Copilot“, tampant vis svarbesne įmonių veiklos dalimi, tyrimai ir praktiniai bandymai atskleidžia naujų pažeidžiamumų. Grėsmių sukėlėjai greitai ieško papildomų būdų išnaudoti šias priemones, pavyzdžiui, įtraukdami jas į atakų grandinę, panašiai kaip tradicinėse atakose taikoma teisėtų sistemos priemonių naudojimo („living-off-the-land“) technika. Nors ši technologija yra nauja, „Microsoft“ ją integruoja į gerai žinomus ir pasiteisinusius procesus, pavyzdžiui, koordinuotas pažeidžiamumų atskleidimas, siekdama užtikrinti saugų rizikos nustatymą ir jos mažinimą. Šie atvejai suteikia organizacijoms vertingų pamokų ne todėl, kad priemonės „neveikė“ įprasta prasme, o todėl, kad jie atskleidžia netikėtus būdus, kaip dirbtiniu intelektu galima piktnaudžiauti jam sąveikaujant su duomenimis ir žmogaus darbo procesais.

CVE-2025-32711 (2025)
„EchoLeak“, kurios pažeidžiamumas jau pašalintas, buvo kelių etapų tarp raginimų vykdomos įterpimo atakos technika, kuri tam tikromis sąlygomis galėjo išfiltruoti ribotą kiekį duomenų, prie kurių auka jau turėjo prieigą. Kruopščiai parengtas el. laiškas, sukurtas taip, kad atrodytų nekenksmingas, galėtų tyliai „užnuodyti“ „Copilot“ matomą raginimą ir priversti jį atskleisti ribotus vidinius duomenis aukai to nežinant. „Microsoft“ greitai išleido naujinimus šiai spragai pašalinti CVE-2025-32711. Pažeidžiamumas išryškino subtilią, bet rimtą riziką: DI sistemos gali netyčia atskleisti slaptus klientų duomenis dėl netiesioginio užklausų manipuliavimo.

Perteklinių teisių rizika
„Copilot“ paveldi naudotojų prieigos teises. Jei asmuo vis dar turi prieigą prie ankstesnio padalinio duomenų, „Copilot“ gali šią informaciją pateikti sugeneruotuose rezultatuose. Panašiai vienam darbuotojui prieinami slapti duomenys gali patekti į DI parengtas santraukas, todėl kyla atitikties reikalavimų ir privatumo rizika. Organizacijos gali mažinti šią riziką taikydamos mažiausių būtinų teisių principą, vaidmenimis grindžiamą prieigos kontrolę ir duomenų praradimo prevencijos (DLP) strategijas sistemoje „Microsoft Purview“. Be to, naudojant „M365 Copilot“ tyrinėtojo režimą galima aktyviai nustatyti prieigos spragas dar prieš joms tampant saugumo problema. Pagrindinis principas – patikėti dirbtiniam intelektui tik tuos duomenis, prie kurių prieiga jums yra priimtina, iš esmės informaciją, kurios atskleidimą galėtumėte sau leisti. Organizacijos turėtų parengti rizikos modelio vertinimo ir mažinimo planą, kad galėtų atidžiai įvertinti, su kokiais duomenimis „Copilot“ gali saugiai sąveikauti, užuot naudojusios jį kaip pagrindinį itin konfidencialių darbo procesų elementą.

Vidinis piktnaudžiavimas ir veiklos klaidos
Ne visi incidentai kyla dėl išorinių grėsmių. Kai kuriais atvejais vidaus naudotojai gali naudoti tokias priemones kaip „Copilot“ ataskaitoms, kuriose yra slaptų duomenų, generuoti jų tinkamai neperžiūrėję. Riziką galima mažinti pasitelkiant mokymus, stebėseną, anomalijų aptikimą ir valdymo strategijas, kad dirbtinis intelektas išliktų patikimu pagalbininku, o ne nekontroliuojama priemone.

Netiesioginis duomenų užnuodijimas ir manipuliavimas raginimais
Dirbtinio intelekto sistemos yra pažeidžiamos įvairiais būdais, įskaitant subtilias, tačiau veiksmingas technikas, tokias kaip netiesioginis duomenų užnuodijimas ir manipuliavimas raginimais, kurios gali nepastebimai paveikti modelio elgseną be akivaizdžių įspėjamųjų ženklų. Šie metodai pagrįsti specialiai suformuotomis įvestimis, kurios gali pavojingai nukreipti rezultatus, pavyzdžiui, lemti slaptų duomenų atskleidimą arba šališkų atsakymų pateikimą. Paslėpti raginimai, tokie kaip šešioliktainiu formatu užkoduotas tekstas ar nematomas formatavimas, gali subtiliai paveikti „Copilot“ santraukas, todėl jose kartais gali atsirasti pasenusios arba netikėtos informacijos. Kontroliuodamos turinio įtraukimą, tikrindamos metaduomenis ir atsakingai prižiūrėdamos DI sąveikas, organizacijos gali išlaikyti DI priemonių patikimumą ir užtikrinti, kad jos ir toliau teiktų naudą nesukeldamos nenumatytos rizikos.

Šie pavyzdžiai rodo, kad dirbtinio intelekto sauga dažnai priklauso ne tik nuo programinės įrangos trūkumų, bet ir nuo žmonių elgsenos, duomenų tvarkymo bei rezultatų interpretavimo. Taikydamos tinkamas apsaugos priemones, organizacijos gali veiksmingai naudoti „Copilot“ priemones ir kartu sumažinti netyčinio duomenų atskleidimo riziką. Sužinokite daugiau adresu „Saugus DI – tvirtas pagrindas. Mokymai“ | Microsoft Learn.

Pasirengimas incidentams DI amžiuje: prevencijos, aptikimo ir reagavimo schema


Tikslas nėra pašalinti visas įmanomas grėsmes – tai nėra realu. Svarbiausia – nuo pat pirmos dienos kurti sprendimus, atsižvelgiant į saugumą. Tai reiškia taikyti Nulinio pasitikėjimo mąstyseną. Atspariausios bus tos organizacijos, kurios tokius incidentus laikys galimybe mokytis ir prisitaikyti, o išmoktas pamokas nuosekliai pritaikys stiprindamos savo saugumo sistemas.

Toliau pateikiamas praktinių grėsmių scenarijų, prevencinių valdiklių, aptikimo signalų ir reagavimo planų susiejimas, padėsiantis organizacijoms nuo pat pradžių kurti atsparumą.
  • Prevencija: Taikykite „Purview“ konfidencialumo lygio etiketes ir DLP taisykles; blokuokite „Copilot“ prieigą prie „Highly Confidential“ failų.

    Aptikimas:     „Purview/UAL“ žurnalai, rodantys „Copilot“ užklausas dėl riboto naudojimo failų; „Sentinel“ DLP įspėjimai.

    Reagavimas:     Sulaikykite išvestį, praneškite failo savininkui, koreguokite DLP strategiją.

    Praktinis scenarijus:     Finansų direktorius paprašo „Copilot“ „apibendrinti visas ketvirtines ataskaitas“. Slapti valdybos dokumentai neįtraukiami, nes blokuojami.
  • Prevencija: Įjunkite „Prompt Shields“ ir išvalykite iš el. laiškų, žurnalų bei išorinių šaltinių gaunamus duomenis prieš juos apdorojant „Copilot“.

    Aptikimas:     „Sentinel“ įspėjimai apie įtartiną arba įsilaužimo tipo naudotojo įvestį, užfiksuotą pokalbių roboto žurnaluose.

    Reagavimas:     Blokuokite kenkėjišką seansą, pašalinkite nesaugią išvestį, sustiprinkite apsaugines ribas.

    Praktinis scenarijus:     Grėsmės sukėlėjas siunčia parengtą užklausą, kad manipuliuotų organizacijos DI pagrįstu klientų aptarnavimo pokalbių robotu; pokalbių robotas ignoruoja įterptas instrukcijas.
  • Prevencija: Patikrinkite turinio įtraukimo šaltinius, užtikrinkite šaltinių pasirašymą ir apribokite rašymo teises.

    Aptikimas: Peržiūrėkite audito žurnalus ir nustatykite įspėjimus apie prieigą prie kontrolinių dokumentų; „Sentinel“ aptinka neįprastus žinių bazės atnaujinimus.

    Reagavimas:     Atkurkite ankstesnę užnuodytos žinių bazės versiją, panaikinkite turinio įtraukimo raktus ir informuokite reagavimo į incidentus komandą.

    Praktinis scenarijus:     Piktybiškai nusiteikęs darbuotojas įkelia suklastotą reagavimo į incidentus procedūrų aprašą, o prieiga prie kontrolinio dokumento suaktyvina aptikimo mechanizmą.
  • Prevencija: Patikrinkite turinio įtraukimo šaltinius, užtikrinkite šaltinių pasirašymą ir apribokite rašymo teises.

    Aptikimas:     Peržiūrėkite audito žurnalus ir nustatykite įspėjimus apie prieigą prie kontrolinių dokumentų; „Sentinel“ aptinka neįprastus žinių bazės atnaujinimus.

    Reagavimas:     Pakeiskite atskleistus prisijungimo duomenis, pašalinkite nesaugų pakeitimą ir iš naujo mokykite komandą.

    Praktinis scenarijus:     Jaunesnysis programuotojas įklijuoja API raktą į kodą. „Copilot“ jį pasiūlo kitur, tačiau slaptų duomenų nuskaitymo funkcija neleidžia sujungti pakeitimų.
  • Prevencija: Jungtims taikykite vaidmenimis grindžiamą prieigos kontrolę ir mažiausių būtinų teisių principą, o prieigą prie slaptų sistemų apribokite.

    Aptikimas:     „Sentinel“ aptinka anomalijas pagal didelės apimties „Copilot“ duomenų užklausas.

    Reagavimas:     Išjunkite jungtį, sustabdykite paskyrą, atlikite personalo skyriaus ir saugos peržiūrą.

    Praktinis scenarijus:     Pardavimų darbuotojas per „Copilot“ ištraukia tūkstančius klientų įrašų; neįprastas užklausų kiekis sukelia įspėjimą.
  • Prevencija: Apribokite „Copilot“ jungčių teises; stebėkite duomenų judėjimą tarp nuomotojų arba į išorę.

    Aptikimas: „Purview“ ir „Sentinel“ įspėjimai apie didelius failų perdavimus arba neįprastą jungties naudojimą.

    Reagavimas: Užblokuokite jungtį, panaikinkite prieigos raktus ir izoliuokite sugeneruotus rezultatus.

    Praktinis scenarijus: Prie „OneDrive“ prijungtas „Copilot“ bando siųsti pažymėtus dokumentus į asmeninę „Gmail“ jungtį.
  • Prevencija: Taikykite sąlyginė prieigą ir „Defender for Cloud Apps“, kad blokuotumėte nepatvirtintas DI paslaugas.

    Aptikimas: „Microsoft Cloud App Security“ / „Defender“ įspėja apie DI programų srautą; „Sentinel“ analizuoja „OAuth“ suteikimo įvykius.

    Reagavimas:     Panaikinkite prieigos raktus, informuokite naudotoją ir užtikrinkite, kad būtų naudojamos tik patvirtintos „Copilot“ priemonės.

    Praktinis scenarijus:     Darbuotojas bando prijungti „Copilot“ prie išorinio DI santraukų įrankio be patvirtinimo.
  • Prevencija: Sukonfigūruokite „Safe Links“ ir „Safe Attachments“ funkcijas bei išmokykite darbuotojus atpažinti sukčiavimo riziką, susijusią su „Copilot“ naudojimu.

    Aptikimas:     „Defender“ aptinka neįprastus el. laiškų siuntimo šuolius arba „Copilot“ sukurto teksto šablonus.

    Reagavimas:     Blokuokite siuntėją, atšaukite pašto dėžutės prieigos raktus, automatiškai išjunkite taisykles.

    Praktinis scenarijus:     Pažeista paskyra pasitelkia „M365 Copilot“ tikslinėms sukčiavimo kampanijoms generuoti.
  • Prevencija: Išmokykite darbuotojus suprasti „Copilot“ apribojimus ir užtikrinkite žmogaus atliekamą peržiūrą slaptuose darbo procesuose.

    Aptikimas:     „Sentinel“ aptinka didelės rizikos veiksmus, kuriuos inicijavo DI siūlomos užklausos.

    Reagavimas:     Atšaukite veiksmą, praneškite tvirtintojui, iš naujo išmokykite naudotoją.

    Praktinis scenarijus:     „Copilot“ saugumo operacijų centro (SOC) įspėjime pasiūlo netinkamą taisomąjį veiksmą, tačiau analitiko peržiūra padeda išvengti žalos.

Saugaus DI kūrimas nuo pat pradžių

DI pagalbininkai iš esmės keičia organizacijų veiklą – jie padeda greičiau gauti įžvalgų, sumažinti rankinio darbo apimtį ir suteikia komandoms galimybę daugiau dėmesio skirti didesnę vertę kuriantiems darbams. Tačiau pažanga be apsaugos ilgai netrunka. Tikrasis konkurencinis pranašumas slypi ne gebėjime DI įdiegti greičiausiai, o gebėjime nuo pat pradžių jį diegti saugiai ir atsakingai.

„Microsoft Copilot“ ekosistema, įskaitant „Security Copilot“, parodo, kaip šią pusiausvyrą galima pasiekti praktiškai: inovacijas nukreipiant pasitelkiant valdymą. Kai organizacijos įdiegia griežtas prieigos kontrolės priemones, patikimas duomenų tvarkymo politikas ir nuolat prižiūri, kaip naudojami pagalbininkai, jos paverčia DI ne tik produktyvumo didinimo priemone, bet ir patikimu strateginiu ištekliumi.

Saugaus DI kūrimas nuo pat pradžių yra ne tik techninis prioritetas, bet ir vadovų atsakomybė. Vadovai, kurie savo DI programose užtikrina saugumą, pasirengimą ir skaidrumą, ne tik sumažins riziką, bet ir sustiprins suinteresuotųjų šalių pasitikėjimą, reguliavimo institucijų pasitikėjimą bei ilgalaikį atsparumą. Taikant šį modelį, „Security Copilot“ tampa daugiau nei tik priemone – jis tampa partneriu, padedančiu kurti saugią ir atsakingą organizacijos ateitį.

Daugiau panašaus turinio

Knygos viršelis, kuriame pavaizduotas žmogus, dirbantis nešiojamuoju kompiuteriu ir pirštu rodantis į klaviatūrą.

Darbo su DI programomis pradžia

Sukurkite saugų pagrindą DI programoms, taikydami etapinį požiūrį.
Skaitykite vadovą
Knygos viršelis, kuriame vyras žiūri į kompiuterio ekraną.

Dirbtinio intelekto valdymo strategijos

Praktiniai veiksmai, kaip kurti pasitikėjimą, sumažinti rizikas ir išlaidas bei skatinti inovacijas.
Skaitykite vadovą
Baltų linijų piešinys, kuriame mėlyname fone pavaizduotas popierius voke su užrašu New.

Gauti CISO suvestinę

Būkite žingsniu priekyje sužinodami ekspertų įžvalgas, sektoriaus tendencijas ir saugos tyrimus šioje kas antrą mėnesį siunčiamoje el. laiškų serijoje.
Prisiregistruoti

Stebėkite „Microsoft“ saugą

Organizacijoms skirtas „Copilot“ Asmeniniam naudojimui skirtas „Copilot“ Microsoft 365 „Windows 11“ programos Abonento profilis Atsisiuntimo centras Grąžinimas Užsakymo sekimas Perdirbimas Komercinės garantijos „Microsoft Education“ Įrenginiai švietimo įstaigoms „Microsoft Teams“ švietimui „Microsoft 365 Education“ „Office Education“ Pedagogų mokymai ir tobulėjimas Pasiūlymai studentams ir tėvams „Azure“ studentams
„Microsoft“ dirbtinis intelektas „Microsoft“ sauga „Azure” „Dynamics 365“ „Microsoft 365“ „Microsoft Advertising“ Microsoft 365 Copilot „Microsoft Teams“ „Microsoft“ kūrėjas „Microsoft Learn“ DI parduotuvės programų palaikymas „Microsoft“ techninės pagalbos bendruomenė Microsoft Marketplace „Microsoft Power Platform“ Programinės įrangos įmonės „Visual Studio“ Karjera Apie „Microsoft“ „Microsoft“ privatumas Investuotojai
Lietuvių (Lietuva) Vartotojų sveikatos privatumas Susisiekti su „Microsoft“ Privatumas Slapukų valdymas Naudojimosi sąlygos Prekių ženklai Apie mūsų reklamą EU Compliance DoCs