AI 應用程式安全系列 1：導入 AI 工具時的安全考量

隨著 Microsoft Copilot 這類 AI 工具在企業營運中的地位日益重要，研究與實際測試也持續揭露新的弱點。威脅行為者很快就會探索其他利用這些工具的方式，例如將其納入攻擊鏈中，類似傳統攻擊中的 living-off-the-land 技巧。即使這項技術相當新，Microsoft 也正將其納入已知且成熟的流程，例如協調式弱點揭露，以確保風險能被安全地識別與緩解。這些案例為組織提供了寶貴的啟示，並不是因為工具在傳統意義上「失效」了，而是因為它們揭示了 AI 在與資料及人工作流程互動時，可能出現意想不到的濫用方式。

CVE-2025-32711 (2025)
EchoLeak——現已修正——是一種多階段跨提示注入攻擊技術，在某些條件下可外洩受害者原本就有權存取的有限資料。一封經過精心設計、外觀看似無害的電子郵件，可能悄悄「污染」Copilot 所接收到的提示，讓它在受害者毫不知情的情況下洩漏有限的內部資料。Microsoft 很快便針對這項缺陷發布更新 CVE-2025-32711。這項漏洞凸顯了一個細微卻嚴重的風險：AI 系統可能因間接的提示操控，而無意間曝光敏感的客戶資料。

過度權限風險
Copilot 會繼承使用者的權限。如果某人仍保有先前部門資料的存取權，Copilot 就可能在產生的輸出中顯示這些資訊。同樣地，原本只有特定員工可存取的敏感資料，也可能出現在 AI 摘要中，進而引發合規與隱私風險。組織可透過最小權限存取、以角色為基礎的控制，以及 Microsoft Purview 中的 DLP 原則來降低這類風險。此外，使用 M365 Copilot 的 Researcher 模式，也有助於在權限外洩演變成安全事件之前，及早發現問題。核心原則是：只讓 AI 存取您願意承擔風險的資料；換句話說，也就是即使曝光了您也能接受的資訊。組織應建立風險模型評估與緩解計畫，審慎判斷 Copilot 能安全互動哪些資料，而不是讓它介入高度機密的工作流程。

內部濫用與作業錯誤
並非所有事件都源自外部威脅。在某些情況下，內部使用者可能會使用 copilot 產生含有敏感資料的報告，卻沒有仔細檢查內容。緩解措施包括訓練、監控、異常偵測與治理原則，確保 AI 成為值得信賴的助理，而不是失控的工具。

間接資料中毒與提示詞操弄
AI 系統面臨多種脆弱性，其中就包括像間接資料中毒與提示詞操弄這類細微卻威力十足的手法；這些攻擊可在沒有明顯警訊的情況下，悄悄改變模型行為。這些方法會刻意設計輸入內容，將輸出引導至高風險方向，例如洩露敏感資訊或引入偏差。像十六進位編碼文字或不可見格式這類隱藏提示，會微妙地影響 Copilot 的摘要，偶爾還會帶出過時或意料之外的資訊。透過控管內容導入、驗證中繼資料，並對 AI 互動進行周全監督，組織就能讓 AI 工具維持可靠，持續創造價值，同時避免引入非預期風險。

以上例子顯示，AI 安全往往關乎人員行為、資料處理與內容解讀，而不只是軟體缺陷。只要有完善防護，組織就能有效運用 Copilot 工具，同時將非預期暴露降到最低。深入了解： 強化 AI 安全，奠定穩固基礎 — 訓練 | Microsoft Learn。