Sprachmodelle trennen Befehle und Daten nicht zuverlässig wie klassische Programme. Ein Agent kann deshalb eine bösartige Anweisung aus einem Dokument übernehmen und anschließend Daten preisgeben oder ein Werkzeug falsch verwenden.
Direkte und indirekte Injection
Direkte Angriffe stehen in der Nutzereingabe. Indirekte Angriffe liegen in externen Inhalten wie Webseiten, E-Mails, PDFs, Bildern oder Datenbankeinträgen, die das System verarbeitet.
Mögliche Folgen
- Umgehung interner Regeln
- Offenlegung vertraulicher Informationen
- Manipulation einer Zusammenfassung oder Entscheidung
- Missbrauch verbundener Werkzeuge
- Versteckte Weiterleitung zu schädlichen Inhalten
Schutzmaßnahmen
- Externe Inhalte grundsätzlich als nicht vertrauenswürdige Daten behandeln
- Werkzeugrechte minimieren
- Kritische Aktionen separat bestätigen
- Ausgaben und Parameter technisch validieren
- Geheimnisse nicht in den Modellkontext geben
- Protokollierung und Tests mit Angriffsmustern
Keine vollständige Textfilter-Lösung
Prompt Injection lässt sich nicht allein durch eine Liste verbotener Wörter zuverlässig verhindern. Die Systemarchitektur muss mögliche Fehlentscheidungen begrenzen.
Quellen und Rechtsstand
Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.