Ein KI-System kann eine flüssige und selbstbewusste Antwort erzeugen, obwohl Angaben erfunden, verwechselt oder nicht belegt sind. Sprachqualität und sachliche Richtigkeit sind getrennte Eigenschaften.
Einfach erklärt
Ein Sprachmodell berechnet wahrscheinliche Fortsetzungen. Es prüft nicht automatisch in einer verlässlichen Datenbank, ob jede Aussage stimmt.
Darum kann es Quellen, Namen, Zahlen oder Ereignisse erfinden. Die Antwort klingt oft überzeugend, weil das Modell gut darin ist, sprachlich passende Muster zu erzeugen.
Anschauliches Beispiel
Bei der Frage nach einem seltenen Gerichtsurteil kann ein Modell einen plausibel klingenden Aktennamen und eine Zusammenfassung erzeugen, obwohl das Urteil nicht existiert. Ohne Prüfung in einer echten Rechtsdatenbank bleibt die Antwort unzuverlässig.
Fortgeschrittene Erklärung
NIST bezeichnet die selbstbewusste Erzeugung falscher oder irreführender Inhalte als Konfabulation. In der Forschung wird häufig weiterhin der Begriff Halluzination verwendet.
Ursachen können unvollständige Trainingsdaten, mehrdeutige Eingaben, Sampling, fehlender Zugriff auf aktuelle Quellen, fehlerhaftes Retrieval oder ein Konflikt zwischen hilfreicher Formulierung und Unsicherheit sein.
Expertenwissen
Halluzinationen werden je nach Aufgabe unterschiedlich definiert: als Widerspruch zu einer Quelle, als nicht durch eine Quelle gestützte Aussage oder als faktisch falscher Inhalt. Entsprechend unterscheiden sich Messverfahren und Gegenmaßnahmen.
RAG, Werkzeugzugriff, strengere Ausgabestrukturen, Kalibrierung, Verifikationsschritte und menschliche Prüfung können Risiken verringern, beseitigen sie aber nicht vollständig.
Möglichkeiten und Grenzen
- Fakten, Zitate, Quellen, Zahlen und aktuelle Angaben immer prüfen.
- Für Recherche Originalquellen verlangen und tatsächlich öffnen.
- Bei fehlender Evidenz sollte das System Unsicherheit ausweisen oder nicht antworten.
- Medizinische, rechtliche, finanzielle und sicherheitskritische Entscheidungen nicht auf ungeprüfte Ausgaben stützen.