Seri Keamanan Aplikasi AI 1: Pertimbangan keamanan saat mengadopsi alat AI

Seiring alat AI seperti Microsoft Copilot makin menjadi inti operasi perusahaan, riset dan pengujian di dunia nyata terus mengungkap kerentanan baru. Pelaku ancaman dengan cepat mencari dan mengeksplorasi berbagai cara tambahan untuk mengeksploitasi alat-alat ini, seperti menjadikannya bagian dari rantai serangan mereka layaknya teknik living-off-the-land yang digunakan dalam serangan tradisional. Meski teknologi ini masih baru, Microsoft menerapkannya dalam proses-proses yang telah mapan dan teruji, seperti pengungkapan kelemahan terkoordinat, untuk memastikan risiko dapat diidentifikasi dan dimitigasi secara aman. Kasus-kasus ini memberikan pelajaran berharga bagi organisasi, bukan karena alat-alat tersebut “gagal” dalam pengertian konvensional, melainkan karena kasus-kasus tersebut mengungkap cara-cara tak terduga tentang bagaimana AI dapat disalahgunakan dalam interaksinya dengan data dan alur kerja manusia.

CVE-2025-32711 (2025)
EchoLeak — kini telah diperbaiki — adalah teknik untuk serangan lintas penyisipan perintah bertahap yang, dalam kondisi tertentu, dapat mengekfiltrasi data terbatas yang memang aksesnya telah dimiliki korban. Email yang dirancang secara cermat, agar terlihat tidak berbahaya, dapat secara diam-diam “meracuni” perintah yang diproses oleh Copilot sehingga menyebabkan Copilot membocorkan sejumlah data internal terbatas tanpa sepengetahuan korban. Microsoft segera merilis pembaruan keamanan untuk memperbaiki kerentanan yang diidentifikasi sebagai CVE-2025-32711. Kerentanan ini menyoroti risiko yang halus tetapi serius: potensi sistem AI untuk secara tidak sengaja mengekspos data sensitif pelanggan melalui manipulasi perintah tidak langsung.

Risiko akses berlebihan
Copilot mewarisi izin penggunanya. Jika seseorang masih memiliki akses ke data dari departemen sebelumnya, Copilot dapat menampilkan informasi tersebut dalam output yang dihasilkan. Demikian pula, data sensitif yang tersedia bagi satu karyawan dapat muncul dalam ringkasan AI sehingga menimbulkan risiko kepatuhan dan privasi. Organisasi dapat memitigasi risiko ini dengan menerapkan akses hak minimum, kontrol berbasis peran, dan kebijakan DLP di Microsoft Purview. Selain itu, penggunaan mode Peneliti di M365 Copilot dapat membantu mengidentifikasi kebocoran izin secara proaktif sebelum berkembang menjadi masalah keamanan. Prinsip utamanya adalah hanya mempercayakan data kepada AI jika Anda merasa AI boleh mengaksesnya—pada dasarnya, informasi yang siap Anda ungkap. Organisasi harus menerapkan penilaian model risiko dan rencana mitigasi untuk mengevaluasi dengan cermat data apa yang aman berinteraksi dengan Copilot, bukan menempatkannya di pusat alur kerja yang sangat rahasia.

Penyalahgunaan oleh pengguna internal dan kesalahan operasional
Tidak semua insiden berasal dari ancaman eksternal. Dalam beberapa kasus, pengguna internal dapat menggunakan alat seperti copilot untuk membuat laporan yang berisi data sensitif tanpa meninjaunya secara menyeluruh. Mitigasi mencakup pelatihan, pemantauan, deteksi anomali, dan kebijakan tata kelola untuk menjaga agar AI tetap menjadi asisten tepercaya, bukan alat yang lepas kendali.

Peracunan data tidak langsung dan manipulasi perintah
Sistem AI rentan terhadap berbagai jenis ancaman, termasuk teknik yang halus tetapi berdampak besar, seperti peracunan data tidak langsung dan manipulasi perintah, yang dapat secara diam-diam memengaruhi perilaku model tanpa adanya tanda-tanda peringatan yang jelas. Metode ini mencakup perancangan input yang mampu mengalihkan output ke arah yang berisiko, seperti mengungkap informasi sensitif atau menimbulkan bias. Perintah tersembunyi, seperti teks yang dikodekan dalam format heksadesimal atau pemformatan tak terlihat, dapat memengaruhi ringkasan Copilot secara halus, dan sesekali memunculkan informasi yang sudah usang atau tidak terduga. Dengan menerapkan penyerapan konten terkontrol, memvalidasi metadata, dan menjaga pengawasan yang cermat atas interaksi AI, organisasi dapat menjaga keandalan alat AI serta memastikan bahwa solusi tersebut terus memberikan nilai tambah tanpa menimbulkan risiko yang tidak diinginkan.

Contoh-contoh di atas menunjukkan bahwa keamanan AI sering kali berkaitan dengan perilaku manusia, penanganan data, dan interpretasi, bukan hanya celah perangkat lunak. Dengan perlindungan yang tepat, organisasi dapat memanfaatkan alat Copilot secara efektif sembari meminimalkan paparan yang tidak disengaja. Pelajari selengkapnya di AI yang Aman untuk Fondasi yang Kuat - Pelatihan | Microsoft Learn.