Sicherheit von KI-Anwendungen, Reihe 1: Zu beachtende Sicherheitsaspekte bei der Einführung von KI-Tools

Während KI-Tools wie Microsoft Copilot für Unternehmensprozesse immer wichtiger werden, werden gleichzeitig durch Forschung und Praxistests neue Schwachstellen aufgedeckt. Bedrohungsakteure sind schnell dabei, nach weiteren Möglichkeiten zu suchen, diese Tools auszunutzen. Ein Beispiel ist der Einsatz im Rahmen ihrer Angriffskette, ähnlich wie bei der Living-off-the-Land-Technik in klassischen Angriffen. Auch wenn es sich um eine neue Technologie handelt, integriert Microsoft sie in bewährte Prozesse wie die koordinierte Offenlegung von Schwachstellen, um Risiken sicher zu identifizieren und zu beheben. Diese Fälle liefern Unternehmen wertvolle Erkenntnisse. Nicht, weil die Tools im herkömmlichen Sinne „versagt“ hätten, sondern weil sie aufzeigen, wie KI im Zusammenspiel mit Daten und menschlichen Arbeitsabläufen missbraucht werden kann.

CVE-2025-32711 (2025)
EchoLeak (inzwischen behoben) war eine Technik für einen mehrstufigen Cross-Prompt-Injection-Angriff, mit dem unter bestimmten Bedingungen begrenzte Daten exfiltriert werden konnten, auf die die betroffene Person bereits Zugriff hatte. Eine sorgfältig formulierte E-Mail, die auf den ersten Blick harmlos wirkte, konnte unbemerkt den von Copilot verarbeiteten Prompt „vergiften“ und dazu führen, dass begrenzte interne Daten ohne das Wissen der betroffenen Person offengelegt wurden. Microsoft hat schnell Updates veröffentlicht, um die Schwachstelle CVE-2025-32711 zu beheben. Die Schwachstelle machte ein subtiles, aber ernstes Risiko deutlich: die Möglichkeit, dass KI-Systeme unbeabsichtigt vertrauliche Kundendaten durch indirekte Prompt-Manipulation offenlegen.

Risiken durch übermäßige Berechtigungen
Copilot übernimmt die Berechtigungen der Personen, die das Tool nutzen. Hat eine Person noch Zugriff auf Daten aus einer früheren Abteilung, kann Copilot diese in die generierten Ausgaben einbinden. In ähnlicher Weise können auch vertrauliche Daten, auf die eine Person im Unternehmen Zugriff hat, in KI-Zusammenfassungen erscheinen und somit Compliance- und Datenschutzrisiken mit sich bringen. Unternehmen können dem mit dem Prinzip der geringstmöglichen Zugriffsberechtigung, rollenbasierten Kontrollen und Richtlinien zur Verhinderung von Datenverlust in Microsoft Purview entgegenwirken. Mithilfe des Recherchemodus von M365 Copilot lassen sich Berechtigungslecks außerdem proaktiv erkennen, bevor sie zu einem Sicherheitsrisiko werden. Der wichtigste Grundsatz lautet: Vertrauen Sie KI-Tools nur Daten an, bei denen Sie kein Problem damit haben, dass sie darauf zugreifen. Das sind im Wesentlichen Informationen, deren Offenlegung für Sie kein Problem darstellt. Unternehmen sollten einen Plan zur Bewertung und Minderung von Risiken einführen, um genau zu bewerten, mit welchen Daten Copilot sicher interagieren darf, anstatt ihn als zentralen Bestandteil hochvertraulicher Arbeitsabläufe zu nutzen.

Unrechtmäßige Nutzung durch interne Nutzer und Betriebsfehler
Nicht alle Sicherheitsvorfälle gehen von externen Bedrohungen aus. In manchen Fällen nutzen interne Anwender Tools wie Copilot, um Berichte mit sensiblen Daten zu erstellen, ohne diese ausreichend zu prüfen. Zur Risikominderung gehören Schulungen, Monitoring, Anomalieerkennung und Governance-Richtlinien, damit KI ein vertrauenswürdiger Assistent nicht zu einem unkontrollierten Werkzeug wird.

Indirektes Data Poisoning und Prompt-Manipulation
KI-Systeme sind auf viele Arten angreifbar. Dazu zählen subtile, aber wirkungsvolle Techniken wie indirektes Data Poisoning und Prompt-Manipulation. Diese können das Verhalten eines Modells unbemerkt beeinflussen, ohne dass klare Warnzeichen erkennbar sind. Dabei werden Eingaben so gestaltet, dass Ausgaben in riskante Richtungen gelenkt werden – beispielsweise, um vertrauliche Informationen offenzulegen oder Verzerrungen einzuschleusen. Versteckte Prompts, wie etwa Text im Hexadezimalcode oder unsichtbare Formatierungen, können die Zusammenfassungen von Copilot subtil beeinflussen und mitunter zum Abruf veralteter oder unerwarteter Informationen führen. Durch kontrollierte Inhaltserfassung, validierte Metadaten und eine sorgfältige Überwachung von KI-Interaktionen können Unternehmen sicherstellen, dass ihre KI-Tools zuverlässig bleiben und weiterhin einen Mehrwert liefern, ohne unbeabsichtigte Risiken zu schaffen.

Die oben genannten Beispiele zeigen: Bei KI-Sicherheit geht es häufig um menschliches Verhalten, den Umgang mit Daten und deren Interpretation – und nicht nur um Softwarefehler. Mit den richtigen Schutzmaßnahmen können Unternehmen Copilot-Tools effektiv nutzen und gleichzeitig eine unbeabsichtigte Datenoffenlegung minimieren. Weitere Informationen finden Sie unter Sichere KI als starke Grundlage – Schulung | Microsoft Learn.