Ein Mensch in der Schleife verhindert Fehler nicht automatisch. Zeitdruck, Automatisierungsvertrauen, unklare Zuständigkeit oder fehlende Alternativen können die Kontrolle wirkungslos machen. Gute Aufsicht ist organisatorisch und technisch vorbereitet.
Wirksame Aufsicht braucht
- Verständliche Informationen über Zweck, Grenzen und Unsicherheit
- Ausreichend Zeit und Fachkenntnis für eine Prüfung
- Zugriff auf zugrunde liegende Daten und Begründungen soweit möglich
- Befugnis, das Ergebnis zu ändern oder das System abzuschalten
- Einen funktionierenden manuellen Ersatzprozess
Warnzeichen
- Menschen bestätigen fast alle Vorschläge ungeprüft
- Abweichungen müssen aufwendig begründet werden
- Leistungsziele lassen keine reale Prüfzeit
- Es gibt keine Aufzeichnung, wer entschieden hat
- Betroffene können eine Entscheidung nicht anfechten
Besonders wichtig
Bei Entscheidungen über Gesundheit, Beschäftigung, Bildung, Kredit, Versicherung, Recht oder staatliche Leistungen darf KI nicht als unfehlbare Autorität behandelt werden.
Quellen und Rechtsstand
Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.