AI アプリケーション セキュリティ シリーズ 1: AI ツール導入時のセキュリティに関する考慮事項

Microsoft Copilot のような AI ツールが企業運用の中核になるにつれ、研究や実環境でのテストから新たな脆弱性が次々と明らかになっています。脅威アクターは、これらのツールを攻撃チェーンの一部として利用するなど、悪用の新たな方法をすばやく見つけ出します。従来の攻撃における「環境寄生型 (living-off-the-land)」の手法に通じるものです。この技術は新しいものですが、Microsoft は協調的脆弱性開示など、実績のあるプロセスに組み込むことで、リスクを安全に特定し、軽減できるようにしています。これらの事例が組織にとって価値ある教訓となるのは、従来の意味でツールが「失敗」したからではなく、データや人のワークフローとのやり取りの中で AI が想定外の形で悪用され得ることを示しているからです。

CVE-2025-32711 (2025)
EchoLeak は現在修正済みの手法で、多段階のクロス プロンプト インジェクション攻撃により、特定の条件下では、被害者がすでにアクセス権を持つ限定的なデータを流出させる可能性がありました。慎重に作り込まれた一見無害なメールが、Copilot が参照するプロンプトを静かに「汚染」し、被害者に気づかれることなく限定的な社内データを漏えいさせる可能性がありました。Microsoft はこの脆弱性 CVE-2025-32711 に対処する更新プログラムを迅速に公開しました。この脆弱性が示したのは、AI システムが間接的なプロンプト操作によって機密の顧客データを意図せず公開してしまう可能性があるという、見落としがちでありながら深刻なリスクです。

過剰な権限付与のリスク
Copilot はユーザーの権限を継承します。たとえば、前の部署のデータへのアクセス権が残っていると、Copilot がその情報を生成結果に表示してしまうことがあります。同様に、ある従業員だけがアクセスできる機密データが AI の要約に含まれ、コンプライアンスやプライバシーのリスクにつながることがあります。このリスクは、Microsoft Purview の最小権限アクセス、ロールベースの制御、DLP ポリシーで軽減できます。さらに、M365 Copilot の Researcher モードを活用すれば、権限設定の漏れをセキュリティ問題になる前に特定するのに役立ちます。重要なのは、AI にアクセスさせても問題ないと感じるデータだけを扱わせることです。つまり、公開しても差し支えない情報に限定するという考え方です。組織はリスクモデルの評価と軽減計画を策定し、Copilot が安全に連携できるデータを慎重に見極める必要があります。極めて機密性の高いワークフローの中心に置くべきではありません。

内部不正利用と運用ミス
インシデントのすべてが外部の脅威に起因するわけではありません。場合によっては、社内ユーザーが Copilot のようなツールを使って、十分に確認しないまま機密データを含むレポートを作成してしまうことがあります。対策としては、トレーニング、監視、異常検知、ガバナンス ポリシーを組み合わせ、AI を野放しのツールではなく信頼できるアシスタントとして運用することが重要です。

間接的なデータ ポイズニングとプロンプト操作
AI システムはさまざまな脅威にさらされています。中でも、間接的なデータ ポイズニングやプロンプト操作のような目立たない一方で強力な手法は、明確な警告サインを出さずにモデルの挙動を静かに変えてしまいます。こうした手法では、機密情報を露出させたり、偏りを生じさせたりするなど、危険な出力へ誘導する入力を作成します。16進数でエンコードされたテキストや見えない書式設定などの隠れたプロンプトは、Copilot の要約にさりげなく影響を与え、古い情報や予想外の情報を表示させることがあります。コンテンツの取り込みを制御し、メタデータを検証し、AI とのやり取りを慎重に監督することで、組織は AI ツールの信頼性を維持し、意図しないリスクを招くことなく価値を引き出し続けられます。

これらの例が示しているのは、AI セキュリティはソフトウェアの欠陥だけでなく、人の行動、データの扱い方、解釈にも大きく左右されるということです。適切な保護策を講じれば、組織は Copilot ツールを効果的に活用しながら、意図しない情報露出を最小限に抑えられます。詳細情報: Secure AI For a Strong Foundation - Training | Microsoft Learn。