KI-Agenten absichern: Vier beobachtete Angriffswege über E-Mail, PDF, Kalendereinladung und Webseite
Du lässt deinen KI-Assistenten morgens das Postfach durchgehen. Er sortiert, fasst zusammen, beantwortet Routinefragen. In einer der Mails steht ein Satz, den du nie zu Gesicht bekommst: weiße Schrift auf weißem Grund. Für dich unsichtbar. Für den Agenten ein ganz normaler Arbeitsauftrag. Genau darum geht es, wenn von KI-Agenten-Sicherheit die Rede ist – und genau hier liegt der Unterschied zu allem, was du bisher über Phishing und Virenschutz gelernt hast. Einen KI-Agenten abzusichern bedeutet deshalb etwas anderes, als einen Rechner abzusichern. Vier derzeit beobachtete Wege, über die solche versteckten Befehle eingeschleust werden, sind: E-Mail, PDF- und Word-Anhang, Kalendereinladung und Webseite. Es sind nicht die einzig denkbaren, aber die, für die bereits fertige Werkzeuge angeboten werden.
Die Anweisung wird in maschinenlesbare Bestandteile der Mail eingebettet – zum Beispiel als Text in derselben Farbe wie der Hintergrund. Du siehst beim normalen Lesen nichts davon. Je nach System verarbeitet dein Agent neben dem sichtbaren Nachrichtentext aber auch HTML oder andere maschinenlesbare Bestandteile – und erfasst dabei Anweisungen, die im Mailfenster nicht auftauchen.
Manipulierte Anweisungen stecken in PDF- oder DOCX-Dateien, die von einem Agenten ausgewertet werden. Proofpoint nennt als Beispiel die eingebettete Anweisung, alles zu unterbrechen und sämtliche XLSX-Dateien an eine fremde Adresse zu schicken. Ob ein realer Agent so einen Aufbau tatsächlich wie geplant verarbeitet, ist offen.
Das Werkzeug erzeugt Termineinladungen, deren Nachrichtentext eine als Agenda verkleidete Anweisung enthält. Fasst dein Assistent den Terminkalender zusammen, kann er die eingebettete Instruktion mitverarbeiten – und ausführen.
Die Instruktionen werden direkt in den Quelltext einer Seite oder in dynamisch nachgeladene Werbeanzeigen geschrieben. Ruft ein Agent die Seite auf und analysiert ihren Inhalt, verarbeitet er auch das, was für ihn und nicht für dich geschrieben wurde.
Die Kernaussage in einem Satz: Ein KI-Agent kann nicht zuverlässig unterscheiden, ob eine Anweisung von dir kommt oder aus dem Text, den er gerade liest. Erkennung und Filter sind sinnvoll, lassen sich aber umgehen. Die zuverlässigste letzte Schutzschicht ist deshalb eine andere: welche Rechte du dem Agenten gibst und welche Aktionen er ohne deine Bestätigung ausführen darf.
Was ein KI-Agent ist – und warum Sicherheit hier anders funktioniert als beim Chatbot
Der Unterschied ist einfach. Ein Chatbot antwortet. Ein KI-Agent handelt.
Du stellst einem Chatbot eine Frage, er gibt dir Text zurück. Mehr passiert nicht. Ein KI-Agent dagegen bekommt Zugriff auf deine Werkzeuge: Er öffnet dein Postfach, liest Anhänge, ruft Webseiten auf, trägt Termine ein, legt Dateien ab, verschickt Antworten. In Unternehmen prüfen Agenten eingehende Dokumente, sortieren Bewerbungen vor, gleichen Rechnungen ab oder überwachen Anzeigen auf Verstöße.
Für die Sicherheit ändert das alles. Ein Chatbot, den man austrickst, sagt etwas Falsches. Ein KI-Agent, den man austrickst, tut etwas Falsches. Er verschickt Dateien. Er beantwortet Mails in deinem Namen. Er stuft etwas als unbedenklich ein, das es nicht ist. Und er tut das mit deinen Zugangsrechten, aus deinem Konto heraus, ohne dass ein Passwort geknackt oder Schadsoftware installiert werden musste.
Genau deshalb greifen die gewohnten Schutzmaßnahmen hier nur begrenzt. Ein Virenscanner sucht nach Schadcode. Eine indirekte Prompt Injection braucht aber keinen: Sie besteht aus einem Satz in normaler Sprache. Bringt dieselbe Nachricht zusätzlich schädliche Dateien, Skripte oder bekannte Betrugslinks mit, greift der Virenschutz weiterhin – nur die Anweisung selbst erkennt er nicht. Die Zwei-Faktor-Anmeldung schützt deinen Zugang – aber der Agent ist ja bereits legitim angemeldet. Er handelt nicht als Eindringling, sondern als du.
Zur Einordnung: Angriffe auf generative KI und autonome Agenten sind bislang deutlich seltener als klassische Phishing- oder Social-Engineering-Kampagnen. Proofpoint vermutet, dass Kriminelle bislang wenig Anreiz hatten, ihre Methoden grundlegend zu ändern, solange direkte Angriffe auf Mitarbeiter weiterhin zuverlässig funktionieren. Das ist der ehrliche Stand: ein wachsendes Risiko, keine laufende Massenwelle.
Indirekte Prompt Injection: Der Angriff kommt aus dem Inhalt, nicht vom Nutzer
Der Fachbegriff für diese Angriffsart lautet Indirect Prompt Injection, abgekürzt IDPI, auf Deutsch indirekte Prompt Injection. Um zu verstehen, warum KI-Agenten dafür anfällig sind, hilft die Abgrenzung zur direkten Variante.
Bei der direkten Prompt Injection tippt der Nutzer die Trickanweisung selbst ein. Er versucht, die Regeln des Systems zu umgehen, damit es etwas tut, was es eigentlich nicht darf. Das ist das, was gemeinhin als Jailbreak bekannt ist. Der Angreifer sitzt vor dem Bildschirm.
Bei der indirekten Prompt Injection sitzt der Angreifer nirgendwo in der Nähe. Er hinterlegt die Anweisung im Voraus in einem Inhalt, den der Agent später verarbeitet: in einer E-Mail, in einem Dokument, auf einer Webseite, in einem Kalendereintrag. Erkennt der Agent diese Befehle nicht als fremde Fremdinhalte, behandelt er sie wie legitime Arbeitsaufträge. Das Opfer holt sich den Angriff selbst ins Haus, indem es den Agenten ganz normal arbeiten lässt.
Ein Bild, das den Kern trifft: Stell dir einen neuen Praktikanten vor, der jeden Zettel, der auf seinem Schreibtisch landet, für eine Anweisung seines Chefs hält. Er prüft nicht, wer den Zettel dort hingelegt hat. Er liest, was draufsteht, und macht es. Genau so verhält sich ein KI-Agent gegenüber allem, was in seinem Textfenster landet.
Warum der Agent den Unterschied nicht erkennt
Dass dieses Problem so hartnäckig ist, hat einen technischen Grund, der sich nicht mit einem Update wegpatchen lässt.
Moderne Agentensysteme unterscheiden durchaus zwischen Systemvorgaben, deinen Aufträgen und externen Inhalten. Fremde Webseiten, Mails und Dokumente lassen sich als nicht vertrauenswürdig kennzeichnen, und die Anbieter arbeiten mit einer Rangordnung der Anweisungen, mit Überwachung und mit Bestätigungsschritten.
Diese Trennung ist aber nicht deterministisch. In klassischer Software sind Programmcode und Daten sauber getrennt – ein Datenfeld kann nicht plötzlich zum Befehl werden. Bei einem Sprachmodell laufen Anweisung und Material am Ende als natürliche Sprache durch dasselbe Kontextfenster, nur mit unterschiedlichen Vertrauensstufen versehen. Das Modell muss interpretieren, was davon Auftrag ist. Eine geschickt formulierte Anweisung aus einem fremden Dokument kann deshalb trotz der vorgesehenen Rangordnung Einfluss auf das Verhalten gewinnen. Die OWASP führt Prompt Injection nicht ohne Grund als Risiko LLM01 an der Spitze ihrer Liste für Sprachmodell-Anwendungen und schreibt dort selbst, dass unklar ist, ob es überhaupt narrensichere Gegenmittel gibt.
Dazu kommt die zweite Eigenheit: Es handelt sich um normale Sprache, nicht um Programmcode. Klassische Sicherheitstechnik erkennt Angriffe an Mustern. Eine SQL-Injection sieht anders aus als gewöhnliche Eingaben, eine Firewall kann sie herausfiltern. Ein bösartiger Prompt sieht aus wie ein höflicher deutscher Satz. Es gibt kein Muster, an dem man ihn zuverlässig festmachen könnte, weil sich derselbe Befehl auf tausend Arten formulieren lässt.
Und drittens: Du und dein Agent verarbeitet möglicherweise nicht dieselbe Darstellung. Du siehst die fertig dargestellte Mail, die gerenderte Webseite, das lesbare PDF. Je nach System bekommt der Agent zusätzlich extrahierten Text, HTML, Metadaten oder andere maschinenlesbare Bestandteile. Darin können auch Inhalte stecken, die per Schriftfarbe, Schriftgröße null, Alternativtext oder ausgeblendetem HTML-Element für dein Auge nicht sichtbar sind. Diese Lücke zwischen sichtbarer Darstellung und maschinell verarbeitetem Inhalt schafft den zusätzlichen Angriffsraum.
Die vier beobachteten Werkzeuge im Detail
Die Sicherheitsfirma Proofpoint hat in kriminellen Untergrundforen Werkzeuge und Frameworks dokumentiert, die genau für diese vier beobachteten Wege gebaut und dort weiterentwickelt und vermarktet werden. Sie zeigen anschaulich, wie eine bekannte Schwachstellenklasse zum standardisierten Baukasten wird.
Der IDPI-E-Mail-Generator
Er erzeugt Nachrichten, in denen versteckte Anweisungen in maschinenlesbare, für den Empfänger bei normaler Nutzung aber kaum sichtbare Inhalte eingebettet sind. Das genannte Beispiel ist so simpel wie wirksam: Text in derselben Farbe wie der Hintergrund der Nachricht. Wer die Mail öffnet, sieht eine unauffällige Anfrage. Der Assistent, der sie zusammenfassen oder beantworten soll, liest zusätzlich die eingebettete Instruktion.
Der IDPI-PDF-Generator
Hier sitzen die manipulierten Befehle in PDF- oder DOCX-Anhängen, die von einem Scan-Agenten ausgewertet werden. Das ist der Weg, der sich vor allem gegen Unternehmen richtet, in denen eingehende Dokumente automatisiert vorsortiert werden. Proofpoint nennt als Beispiel die eingebettete Anweisung, alles zu unterbrechen und alle XLSX-Dateien an eine angegebene E-Mail-Adresse zu senden. Tabellenkalkulationen sind kein zufälliges Ziel: Dort liegen Kundenlisten, Preiskalkulationen, Lohndaten. Proofpoint weist allerdings darauf hin, dass bei diesem konkreten Aufbau offen ist, ob ein realer Agent den versteckten Text überhaupt wie vom Anbieter vorgesehen verarbeiten würde. Das Beispiel belegt also die Entwicklung und Vermarktung solcher Werkzeuge – nicht automatisch einen erfolgreichen Datenabfluss.
Der IDPI-Kalendereinladungsgenerator
Dieses Werkzeug erzeugt Einladungen, deren Nachrichtentext einen als Tagesordnung getarnten Prompt enthält. Fasst ein KI-Agent den Termin zusammen, könnte er die eingebettete Anweisung ausführen. Der Weg ist deshalb tückisch, weil eine solche Einladung je nach Mail- und Kalendersystem bereits angezeigt oder vom Assistenten analysiert werden kann, ohne dass du sie zuvor bewusst geöffnet oder angenommen hast.
Der IDPI-Webseitengenerator
Befehle werden direkt in HTML-Code oder in dynamisch geladene Werbeanzeigen integriert. Ruft ein Agent die Seite auf und analysiert deren Inhalt, kann er die versteckten Instruktionen verarbeiten. Dass das nicht theoretisch ist, zeigt ein Praxisfall, den Unit 42 von Palo Alto Networks im Netz beobachtet hat: In den HTML-Code einer Betrugsseite waren Anweisungen eingebettet, die ein KI-gestütztes System zur Anzeigenprüfung dazu bringen sollten, den schädlichen Inhalt als zulässig einzustufen. Ob der Manipulationsversuch am Ende erfolgreich war, geht aus der Untersuchung nicht hervor. Der Angriff richtete sich jedenfalls nicht gegen einen Nutzer, sondern gegen den Torwächter.
Dieselbe Untersuchung ist auch deshalb aufschlussreich, weil sie den Aufwand zeigt, den Angreifer betreiben. Unit 42 hat mehr als zwanzig unterschiedliche Techniken katalogisiert, mit denen sich Anweisungen in Webseiten verstecken lassen – von Schriftgröße null über Positionierung außerhalb des sichtbaren Bereichs bis zu Text in HTML-Attributen und in SVG-Grafiken. Auf der Anzeigenprüf-Seite steckten allein rund zwei Dutzend einzelne Injektionsversuche, offenbar in der Hoffnung, dass wenigstens eine Darstellung beim Zielsystem ankommt. Beobachtet wurden dabei auch Versuche, Agenten zu Zahlungen über gängige Bezahldienste, zum Löschen von Datenbanken oder zur Preisgabe ihrer Systemvorgaben zu bewegen.
| Angriffsweg | Wo der Befehl steckt | Typisches Ziel des Angreifers |
|---|---|---|
| Text in Hintergrundfarbe, maschinenlesbare Bestandteile der Nachricht | Daten abgreifen, Antworten in deinem Namen erzeugen, Weiterleitungen einrichten | |
| PDF- oder DOCX-Anhang | Im Dokument selbst, ausgelesen vom Scan-Agenten | Dateien an fremde Adressen versenden, Prüfvorgänge abbrechen |
| Kalendereinladung | Im Nachrichtentext, getarnt als Tagesordnung | Ausführung beim automatischen Zusammenfassen des Tages |
| Webseite | Im HTML-Quelltext oder in nachgeladener Werbung | Prüfsysteme täuschen, Agenten beim Recherchieren umlenken |
Vom Forschungsproblem zum Geschäftsmodell
Prompt Injection gehört seit Langem zu den meistdiskutierten Schwachstellen generativer und agentischer Systeme. In der Rangliste der wichtigsten Risiken für Sprachmodelle steht sie regelmäßig an erster Stelle. Der entscheidende Punkt war bisher aber: Viele Angriffsszenarien stammten aus Forschungsarbeiten oder kontrollierten Experimenten. Sie funktionierten im Labor.
Was sich jetzt ändert, ist die Verpackung. Die in den Untergrundforen beobachteten Angebote befinden sich teilweise noch im Versuchsstadium. Sie zeigen aber, wie aus einer bekannten Schwachstellenklasse ein skalierbares Angriffsmodell wird. Abonnements sollen bei rund 150 US-Dollar pro Monat beginnen.
Diese Zahl ist wichtiger, als sie klingt. Vorgefertigte Werkzeuge senken die technische Einstiegshürde erheblich: Angreifer müssen nicht mehr jede Methode selbst entwickeln, sondern greifen auf fertige Generatoren und Frameworks zurück. Genau dieser Schritt – von der Spezialistendisziplin zum Mietwerkzeug – hat auch bei Phishing-Baukästen und anderen Betrugsmodellen zur stärkeren Verbreitung beigetragen. Die Technik war selten das Nadelöhr, die Zugänglichkeit schon eher.
Der Punkt, an dem es für dich konkret wird: Ein Angriff über indirekte Prompt Injection hinterlässt keine klassischen Spuren. Kein infizierter Anhang, keine gefälschte Anmeldeseite, keine verdächtige Datei auf der Festplatte. Wenn dein Agent Daten verschickt hat, sieht das im Protokoll aus wie normale Arbeit – ausgeführt von deinem legitimen Konto. Erkennung und Filter bleiben deshalb sinnvoll, dürfen aber nicht die einzige Schicht sein. Was auch dann noch trägt, wenn ein Filter versagt hat, sind begrenzte Rechte und eine menschliche Freigabe für folgenreiche Aktionen.
Wer betroffen ist: Privatnutzer, Selbstständige, Unternehmen
Die Sicherheitslage bei KI-Agenten sieht für jede Gruppe anders aus. Es lohnt sich, ehrlich einzuordnen, wie groß das eigene Risiko wirklich ist.
Privatnutzer mit KI-Browser oder Mailassistent
Solange ein Assistent weder auf sensible Daten noch auf Werkzeuge zugreifen kann, ist das unmittelbare Risiko eines Datenabflusses gering. Wer ihn nur zum Formulieren und Nachfragen nutzt, hat wenig zu befürchten. Mit jedem zusätzlichen Zugriffs-, Schreib- und Netzwerkrecht steigt allerdings das mögliche Schadensausmaß: Postfach, Dateiablage, Browser mit eingeloggten Sitzungen. Ein KI-Browser, der eigenständig Seiten aufruft und auswertet, während du parallel bei Bank und Mailkonto angemeldet bist, verbindet beide Zutaten – fremde Inhalte und weitreichende Rechte – in einer einzigen Sitzung.
Selbstständige und kleine Unternehmen
Diese Gruppe kann besonders exponiert sein, wenn weitreichende Automatisierung ohne zentrale Berechtigungsverwaltung und ohne eigene IT-Sicherheitskontrollen läuft. Wer sein Postfach automatisch vorsortieren lässt, Rechnungen automatisiert auslesen lässt oder einen Agenten Angebote schreiben lässt, hat genau die Kombination aus fremden Inhalten und weitreichenden Rechten, auf die diese Angriffe zielen.
Unternehmen mit Prüf- und Scan-Agenten
Hier ist das Ziel selten der einzelne Mitarbeiter, sondern der automatisierte Prozess. Der Unit-42-Fall zeigt das Muster: Nicht der Nutzer wurde getäuscht, sondern das System, das entscheiden sollte, was durchgelassen wird. Überall dort, wo ein Agent eine Freigabe erteilt, eine Einstufung vornimmt oder eine Prüfung abschließt, ist er ein lohnendes Ziel.
So sieht dein Alltag mit einem abgesicherten KI-Agenten aus
Der Punkt ist ausdrücklich nicht, auf KI-Agenten zu verzichten. Sie sparen echte Stunden. Einen KI-Agenten absichern heißt vielmehr, ihn so einzurichten, dass ein untergeschobener Befehl ins Leere läuft.
Wie das im Alltag aussieht: Dein Agent geht morgens das Postfach durch und legt dir eine Zusammenfassung hin. Er hat Leserechte, keine Senderechte. Findet er etwas, das eine Antwort braucht, formuliert er einen Entwurf – und der liegt im Ordner „Entwürfe“, bis du ihn ansiehst. Anhänge wertet er nur aus, wenn du sie ihm gibst, nicht automatisch beim Eingang. Termine trägt er ein, Einladungen von unbekannten Absendern landen vorher zur Sichtung bei dir.
Der Unterschied im Ergebnis: Selbst wenn in einer der Mails ein versteckter Befehl steckt, kann der Agent ihn nicht ausführen. Er darf nichts versenden. Er darf nichts freigeben. Er kann höchstens einen unsinnigen Entwurf schreiben, den du beim Draufschauen sofort erkennst. Aus einem Sicherheitsvorfall wird ein kurzer Moment der Verwunderung.
Das kostet dich ein paar Minuten Einrichtung und ein paar Sekunden pro Tag beim Bestätigen. Dafür entfällt die Frage, ob dein Assistent gerade etwas getan hat, von dem du nichts weißt.
KI-Agenten absichern: Die Schritte, die wirklich etwas bringen
Diese Reihenfolge ist bewusst gewählt. Die ersten drei Schritte bringen den größten Teil der Wirkung, der Rest ist Feinschliff. Wichtig zu wissen: Einen KI-Agenten abzusichern ist keine einmalige Einstellung, sondern eine Frage der Rechte, die du ihm dauerhaft zugestehst.
- Bestandsaufnahme machen. Schreib auf, welche KI-Agenten und Assistenten bei dir tatsächlich laufen und worauf jeder einzelne zugreifen darf. Die meisten Menschen unterschätzen diese Liste, weil Assistenzfunktionen inzwischen in Mailprogrammen, Browsern und Bürosoftware eingebaut sind, ohne dass man sie bewusst eingerichtet hat.
- Rechte auf das Nötigste kürzen. Lesen statt schreiben, entwerfen statt senden, vorschlagen statt freigeben. Frag bei jeder Berechtigung: Was ist der Schaden, wenn der Agent genau das im schlimmsten Fall gegen mich einsetzt? Was du nicht beantworten kannst, schaltest du ab.
- Bestätigung für ausgehende Aktionen erzwingen. Versenden, Teilen, Löschen, Bezahlen, Freigeben – alles, was das eigene System verlässt oder unumkehrbar ist, braucht deinen Klick. Das ist die eine Maßnahme, die auch dann noch greift, wenn alle Filter versagt haben.
- Anhänge nicht automatisch auswerten lassen. Schalte ab, dass PDF- und Office-Dateien beim Eingang automatisch durch den Agenten laufen. Auswertung nur nach bewusster Auswahl. Ein bekannter Absender ist ein positives Signal, ersetzt aber keine kurze Plausibilitätsprüfung – auch legitime Konten werden übernommen und echte Dokumente nachträglich manipuliert.
- Kalender entschärfen. Automatische Annahme von Einladungen deaktivieren. Termine unbekannter Absender nicht automatisch in den Kalender schreiben lassen. Wenn dein Assistent Tageszusammenfassungen erstellt, soll er den Einladungstext von Fremden nicht mit auswerten.
- Browser-Agenten begrenzen. Ein Agent, der eigenständig im Netz unterwegs ist, sollte nicht in derselben Browsersitzung laufen, in der du bei Bank, Mail und Shops angemeldet bist. Separates Profil oder separater Browser – das trennt seine Handlungsmöglichkeiten von deinen Zugängen.
- Ein eigenes Konto für den Agenten anlegen. Statt ihn mit deinen vollen Rechten arbeiten zu lassen, bekommt er ein eigenes Postfach oder einen eigenen Zugang mit genau den Freigaben, die er für seine Aufgabe braucht. Fällt dieser Zugang aus, ist der Schaden eingegrenzt.
- Protokoll führen und gelegentlich hineinsehen. Die meisten Systeme protokollieren, was der Agent getan hat. Einmal pro Woche fünf Minuten durchsehen genügt, um Ungewöhnliches zu bemerken – unerwartete Empfänger, Aktionen zu seltsamen Uhrzeiten, abgebrochene Vorgänge.
- Zweitkanal für alles mit Geld. Zahlungsanweisungen, Kontoänderungen und Bestellfreigaben werden nie allein über den Kanal bestätigt, in dem sie aufgetaucht sind. Ein kurzer Anruf unter der bekannten Nummer erledigt das.
- Die Leute mitnehmen, die mitarbeiten. Wer im Team einen Agenten nutzt, sollte wissen, warum die Bestätigungsschritte existieren. Sonst werden sie als Bremse empfunden und beim ersten Zeitdruck abgeschaltet.
| Berechtigung | Vertretbar | Riskant |
|---|---|---|
| Postfach | Lesen und Entwürfe anlegen | Eigenständig versenden, Weiterleitungsregeln anlegen |
| Dateiablage | Zugriff auf einen klar abgegrenzten Ordner | Vollzugriff auf alle Laufwerke und Freigaben |
| Kalender | Termine lesen und Vorschläge machen | Einladungen Fremder automatisch verarbeiten |
| Browser | Eigenes Profil ohne Anmeldungen | Deine Sitzung mit aktiven Logins |
| Zahlungen | Vorbereiten, du gibst frei | Eigenständig auslösen bis zu einem Limit |
Was die Anbieter tun – und wo die Grenzen liegen
Die Hersteller großer Sprachmodelle behandeln das Thema durchaus ernst. Es gibt Schutzmechanismen, die versuchen, eingebettete Anweisungen zu erkennen und zu ignorieren. Es gibt Hinweise in den Produkten, die dich warnen, wenn du einen Assistenten mit anderen Diensten verbindest. Es gibt Prämienprogramme, mit denen Sicherheitsforscher belohnt werden, wenn sie neue Angriffswege melden. Und mit jeder Modellgeneration werden die Leitplanken etwas besser.
Trotzdem gilt: Eine Einstellung, die das Problem löst, gibt es nicht. Die Abwehr indirekter Prompt Injection ist ein branchenweit ungelöstes Thema, und der Grund dafür ist der oben beschriebene: Solange Anweisung und Material im selben Textstrom ankommen, bleibt eine Restunsicherheit. Die Anbieter sagen das inzwischen auch selbst.
Die OWASP empfiehlt deshalb mehrere Schichten nebeneinander: Rechte begrenzen, menschliche Freigaben für folgenreiche Aktionen, externe Inhalte getrennt halten und kennzeichnen, Eingaben und Ausgaben filtern, feste Ausgabeformate vorgeben und regelmäßig mit Angriffsversuchen testen. Keine dieser Maßnahmen genügt allein.
Was daraus folgt, ist keine Panik, sondern eine nüchterne Arbeitsteilung. Der Anbieter kümmert sich um Erkennung und Leitplanken. Du kümmerst dich um die Begrenzung. Der zweite Teil ist der belastbarere, weil er nicht davon abhängt, ob ein Filter einen neuen Trick bereits kennt.
Wer sich einlesen möchte, wie ein Modellanbieter das Problem selbst beschreibt: OpenAI hat dazu eine gut verständliche deutschsprachige Darstellung veröffentlicht, in der auch offen benannt wird, dass es keine vollständige Lösung gibt.
Die häufigsten Irrtümer zur Sicherheit von KI-Agenten
„Ich merke doch, wenn eine Mail komisch ist.“ Bei klassischem Phishing stimmt das oft. Hier nicht: Der Angriff richtet sich gar nicht an dich. Die für dich sichtbare Mail kann vollkommen unauffällig sein, weil sie ihre Wirkung an einer Stelle entfaltet, die du beim Lesen nie zu Gesicht bekommst.
„Mein Virenschutz fängt das ab.“ Teilweise. Die Anweisung selbst ist ein Satz in normaler Sprache in einem legitimen Dateiformat – die erkennt ein Virenschutz nicht zuverlässig. Bringt dieselbe Nachricht zusätzlich Schadsoftware, aktive Skripte oder bekannte Betrugslinks mit, blockiert er diese Begleitbestandteile sehr wohl. Nur eben nicht den eigentlichen Trick.
„Ich nutze ein großes, seriöses Modell, das ist sicher.“ Die Anfälligkeit hängt weniger vom Modell ab als von den Rechten, die du dem Agenten gegeben hast. Ein sehr gutes Modell mit Vollzugriff auf dein Postfach ist riskanter als ein durchschnittliches Modell, das nur Entwürfe schreiben darf.
„Das betrifft nur große Unternehmen.“ Der Aufwand pro Ziel ist bei diesen Werkzeugen sehr gering, weil sie automatisiert arbeiten. Genau das macht auch kleine Ziele lohnend – ähnlich wie bei Massen-Phishing, das sich ebenfalls nie an Konzerne allein gerichtet hat.
Häufige Fragen zur KI-Agenten-Sicherheit
Was ist der Unterschied zwischen Prompt Injection und indirekter Prompt Injection?
Bei der direkten Prompt Injection gibt der Nutzer die manipulierte Anweisung selbst ein, um Regeln des Systems zu umgehen. Bei der indirekten Prompt Injection versteckt ein Angreifer die Anweisung im Voraus in Inhalten, die ein KI-Agent später verarbeitet – in Mails, Dokumenten, Kalendereinträgen oder Webseiten. Der Nutzer merkt davon nichts.
Kann ein KI-Agent wirklich eigenständig Daten verschicken?
Nur wenn er über ein entsprechendes Werkzeug und die nötigen Berechtigungen verfügt. Ohne Senderecht kann er keine E-Mail verschicken. Hat er aber Zugriff auf andere ausgehende Kanäle wie Browser, Datei-Uploads, Webhooks oder verbundene Dienste, müssen auch diese Rechte begrenzt werden. Genau darum ist die Rechtevergabe die wichtigste Sicherheitsentscheidung.
Woran erkenne ich, ob mein KI-Agent manipuliert wurde?
An seinen Handlungen, nicht an Warnmeldungen. Verdächtig sind unerwartete Empfänger, Aktionen, die du nicht angestoßen hast, plötzlich angelegte Weiterleitungsregeln, abgebrochene Vorgänge oder Zusammenfassungen, die inhaltlich nicht zu den Originalen passen. Ein Blick ins Aktivitätsprotokoll ist der verlässlichste Weg.
Hilft ein Virenscanner gegen Prompt Injection?
Nur zum Teil. Eine indirekte Prompt Injection benötigt keinen klassischen Schadcode, deshalb erkennt ein Virenscanner die in natürlicher Sprache formulierte Anweisung normalerweise nicht. Enthält die Nachricht zusätzlich schädliche Dateien, Skripte oder bekannte Betrugslinks, blockiert er diese Begleitbestandteile weiterhin. Die verlässlichste Schicht bleiben trotzdem begrenzte Rechte und verpflichtende Bestätigungsschritte.
Sind Kalendereinladungen wirklich ein Angriffsweg?
Ja. Je nach Mail- und Kalendersystem kann eine Einladung bereits angezeigt oder vom Assistenten analysiert werden, ohne dass du sie zuvor bewusst geöffnet oder angenommen hast. Fasst ein Assistent den Terminkalender zusammen, kann er dabei einen als Tagesordnung getarnten Prompt mitlesen.
Betrifft das auch KI-Assistenten im Browser?
Ja. Ein Browser-Agent ruft Webseiten auf und wertet ihren Inhalt aus – und Befehle lassen sich direkt in den HTML-Code oder in nachgeladene Werbeanzeigen schreiben. Läuft der Agent zudem in einer Sitzung, in der du überall angemeldet bist, kann er dort im Namen deiner Anmeldung handeln.
Was kostet so ein Angriffswerkzeug im Untergrund?
Die in Untergrundforen beobachteten Abonnements sollen bei rund 150 US-Dollar pro Monat beginnen. Ein Teil dieser Angebote befindet sich noch im Versuchsstadium. Der niedrige Preis ist das eigentliche Signal: Er senkt die Einstiegshürde für Angreifer ohne eigenes Fachwissen.
Sollte ich KI-Agenten deshalb lieber gar nicht einsetzen?
Das wäre eine Überreaktion. Angriffe auf KI-Systeme sind bislang deutlich seltener als klassisches Phishing. Der Nutzen von Agenten ist real und messbar. Sinnvoll ist der mittlere Weg: einsetzen, aber mit begrenzten Rechten und Bestätigungspflicht für alles, was nach außen geht oder sich nicht rückgängig machen lässt.
Weiterlesen
Prompt Injection, Data Poisoning und Adversarial Attacks – die indirekte Prompt Injection ist nur eine von mehreren Methoden, mit denen sich Sprachmodelle manipulieren lassen. Data Poisoning setzt viel früher an, nämlich schon beim Training des Modells. Adversarial Attacks arbeiten mit Eingaben, die für Menschen harmlos aussehen und die Maschine trotzdem zuverlässig in die Irre führen. Wer die drei Angriffsarten auseinanderhalten kann, erkennt schneller, welche Schutzmaßnahme gegen welches Problem überhaupt etwas ausrichtet. Für die Sicherheit deiner KI-Agenten ist genau diese Unterscheidung der Ausgangspunkt.
KI-Agenten mit Zahlungsrecht absichern – sobald ein Agent nicht nur lesen, sondern auch Geld bewegen soll, wird die Rechtevergabe vom Nebenthema zur Hauptsache. Die Least-Privilege-Checkliste geht Punkt für Punkt durch, welche Limits sinnvoll sind und wo Freigaben zwingend beim Menschen bleiben müssen. Sie beschreibt außerdem, wie du einen Agenten so einrichtest, dass ein untergeschobener Befehl höchstens einen Vorschlag erzeugt statt einer ausgeführten Überweisung. Das ist die konsequente Fortsetzung der Schritte aus diesem Text.
KI-Agenten verständlich erklärt – falls die Begriffe Agent, Assistent und Chatbot noch durcheinandergehen, klärt dieser Beitrag die Grundlagen. Er zeigt, was autonome Software heute tatsächlich selbstständig erledigt und wo die Grenze zum klassischen Chatbot verläuft. Vor allem macht er deutlich, warum gerade die Fähigkeit zu handeln den entscheidenden Unterschied ausmacht. Ohne dieses Verständnis lässt sich das Sicherheitsthema kaum richtig einordnen.
Agentic Commerce und das Risiko beim automatischen Einkauf – hier trifft das Thema auf einen Fall, in dem eine KI eigenständig für dich einkauft. Ein manipulierter Produkttext oder eine präparierte Händlerseite wirkt in diesem Ablauf unmittelbar auf das Ergebnis. Der Beitrag ordnet ein, was heute schon möglich ist und an welchen Stellen du die Kontrolle besser selbst behältst. Damit wird sehr anschaulich, was passiert, wenn ein Agent Entscheidungen trifft statt nur Vorschläge zu machen.
KI sicher nutzen als Selbstständiger und kleines Unternehmen – diese Gruppe trifft das Thema am härtesten, weil echte Automatisierung auf eine fehlende IT-Abteilung trifft. Der Beitrag zeigt, welche organisatorischen Grundlagen große Konzerne längst haben und wie du dieselben Effekte mit überschaubarem Aufwand nachbaust. Das reicht von der Frage, welche Daten überhaupt in ein Modell gehören, bis zu klaren Regeln für alle im Team. Genau diese Regeln entscheiden am Ende darüber, ob deine Berechtigungen im Alltag bestehen bleiben.
Jadepuffer und der erste vollautomatische Ransomware-Angriff – dieser Fall ist das Gegenstück zum vorliegenden Text. Hier geht es nicht um einen gekaperten Agenten, sondern um einen Agenten auf der Angreiferseite. Beide Entwicklungen laufen parallel und verstärken sich gegenseitig: Werkzeuge, die fremde Agenten manipulieren, und Agenten, die selbst angreifen. Der Fall zeigt, wie weit die Automatisierung auf der anderen Seite bereits fortgeschritten ist.