KI Panorama

Suche

Thema: Risikomanagement

  • Menschliche Kontrolle: Mehr als ein Bestätigungsbutton

    Ein Mensch in der Schleife verhindert Fehler nicht automatisch. Zeitdruck, Automatisierungsvertrauen, unklare Zuständigkeit oder fehlende Alternativen können die Kontrolle wirkungslos machen. Gute Aufsicht ist organisatorisch und technisch vorbereitet.

    Wirksame Aufsicht braucht

    • Verständliche Informationen über Zweck, Grenzen und Unsicherheit
    • Ausreichend Zeit und Fachkenntnis für eine Prüfung
    • Zugriff auf zugrunde liegende Daten und Begründungen soweit möglich
    • Befugnis, das Ergebnis zu ändern oder das System abzuschalten
    • Einen funktionierenden manuellen Ersatzprozess

    Warnzeichen

    • Menschen bestätigen fast alle Vorschläge ungeprüft
    • Abweichungen müssen aufwendig begründet werden
    • Leistungsziele lassen keine reale Prüfzeit
    • Es gibt keine Aufzeichnung, wer entschieden hat
    • Betroffene können eine Entscheidung nicht anfechten

    Besonders wichtig

    Bei Entscheidungen über Gesundheit, Beschäftigung, Bildung, Kredit, Versicherung, Recht oder staatliche Leistungen darf KI nicht als unfehlbare Autorität behandelt werden.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • KI in Medizin, Recht und Finanzen: Assistenz statt unkontrollierte Entscheidung

    Ein sprachlich überzeugendes Ergebnis ist kein Nachweis fachlicher Richtigkeit. Medizinische, rechtliche und finanzielle Aussagen können von aktueller Rechtslage, individuellen Umständen, Messwerten oder professionellen Standards abhängen, die einem allgemeinen Modell fehlen.

    Geeignete Assistenzaufgaben

    • Dokumente strukturieren und verständlicher formulieren
    • Checklisten und Fragen für ein Fachgespräch vorbereiten
    • Informationen in bereitgestellten Quellen auffinden
    • Entwürfe erzeugen, die fachlich geprüft werden
    • Administrative Routinearbeiten unterstützen

    Nicht ohne qualifizierte Prüfung

    • Diagnosen, Behandlung oder Dosierung
    • Verbindliche Rechtsauslegung oder Fristberechnung
    • Kredit-, Versicherungs- oder Anlageentscheidungen
    • Automatisierte Ablehnung von Leistungen oder Bewerbern
    • Entscheidungen mit irreversiblen Folgen

    Qualitätssicherung

    • Verlässliche Originalquellen und aktuelle Fachdaten
    • Dokumentierte menschliche Endentscheidung
    • Nachvollziehbare Version und Eingaben
    • Datenschutz und Zugriffskontrolle
    • Mechanismus für Fehler, Beschwerden und Korrekturen

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Checkliste: KI privat sicher und sinnvoll nutzen

    Für private Aufgaben genügt oft eine einfache Regel: keine unnötigen sensiblen Daten, wichtige Aussagen unabhängig prüfen und bei Folgen für Gesundheit, Geld oder Rechte qualifizierte Hilfe einbeziehen.

    Vor der Eingabe

    • Braucht die Aufgabe wirklich persönliche Daten?
    • Ist der Dienst für diese Daten geeignet?
    • Kann ich Namen, Orte und Zahlen durch Platzhalter ersetzen?

    Nach der Ausgabe

    • Sind Tatsachen, Zitate und Links überprüft?
    • Sind Personen unfair oder stereotyp dargestellt?
    • Enthält das Ergebnis vertrauliche oder fremde Inhalte?
    • Darf ich die Ausgabe für meinen Zweck verwenden?

    Vor einer Handlung

    • Welche Folgen hätte ein Fehler?
    • Kann ich die Entscheidung rückgängig machen?
    • Brauche ich eine zweite Quelle oder Fachperson?
    • Ist erkennbar, wenn ein veröffentlichter Inhalt künstlich erzeugt wurde?

    Merksatz

    Je größer der mögliche Schaden, desto weniger darf man sich auf eine ungeprüfte KI-Ausgabe verlassen.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Checkliste: KI in einer Organisation einführen

    Organisationen sollten nicht mit der Frage beginnen, welches Modell modern ist, sondern welches Problem gelöst werden soll, welche Daten nötig sind und wer für Fehler und Freigaben verantwortlich bleibt.

    1. Einsatzfall definieren

    • Konkrete Aufgabe und erwarteten Nutzen beschreiben
    • Betroffene Personen und mögliche Schäden erfassen
    • Nicht-KI-Alternative und manuelle Ausweichmöglichkeit festlegen

    2. Daten und Anbieter prüfen

    • Datenklassen und Schutzbedarf
    • Vertrag, Speicherort und Unterauftragnehmer
    • Training mit Eingaben und Löschfristen
    • Modellversion, Lizenz und Abhängigkeiten

    3. Pilot kontrollieren

    • Kleine Nutzergruppe und ungefährliche Testdaten
    • Messbare Qualitäts- und Sicherheitskriterien
    • Tests mit schwierigen und missbräuchlichen Eingaben
    • Dokumentierte Freigabe vor produktiver Nutzung

    4. Betrieb organisieren

    • Rollen, Schulung und Support
    • Protokolle, Vorfälle und Beschwerden
    • Regelmäßige Prüfung nach Modell- oder Prozessänderungen
    • Klare Abschalt- und Wechselmöglichkeit

    Rechtliche Prüfung

    Bei personenbezogenen Daten, Beschäftigten, Hochrisiko-Anwendungen oder regulierten Branchen müssen Datenschutz, Mitbestimmung und branchenspezifische Regeln früh geprüft werden.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Die vier Risikostufen des EU AI Act

    Nicht die technische Bezeichnung eines Modells entscheidet allein über die rechtlichen Pflichten, sondern vor allem der konkrete Verwendungszweck. Derselbe Modelltyp kann in einem harmlosen Assistenten anders eingestuft werden als bei Personalentscheidungen oder Zugang zu wesentlichen Leistungen.

    Unzulässiges Risiko

    Bestimmte Praktiken sind verboten, weil sie eine klare Gefahr für Sicherheit, Lebensgrundlagen oder Grundrechte darstellen. Dazu gehören unter anderem schädliche Manipulation, Social Scoring und bestimmte biometrische Anwendungen.

    Hohes Risiko

    Anwendungen in sensiblen Bereichen wie Bildung, Beschäftigung, wesentlichen Diensten, Strafverfolgung, Migration oder Justiz können als Hochrisiko-Systeme gelten und unterliegen strengen Anforderungen.

    Transparenzrisiko

    Menschen müssen in bestimmten Situationen erkennen können, dass sie mit KI interagieren oder dass Inhalte künstlich erzeugt oder manipuliert wurden.

    Minimales oder kein Risiko

    Für viele alltägliche Systeme wie Spamfilter oder KI-Funktionen in Spielen führt der AI Act keine zusätzlichen spezifischen Pflichten ein. Andere Gesetze bleiben dennoch anwendbar.

    Praxisregel

    Zuerst den konkreten Einsatzfall, die betroffenen Personen und mögliche Folgen beschreiben. Erst danach lässt sich die regulatorische Kategorie sinnvoll prüfen.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • General-Purpose AI: Pflichten für Basismodelle

    General-Purpose-AI-Modelle können viele unterschiedliche Aufgaben unterstützen und bilden oft die technische Grundlage anderer Produkte. Der AI Act richtet deshalb eigene Pflichten an ihre Anbieter. Modelle mit systemischem Risiko unterliegen zusätzlichen Anforderungen zur Bewertung und Minderung von Risiken.

    Grundpflichten

    • Technische Dokumentation für nachgelagerte Anbieter
    • Informationen über Fähigkeiten und Grenzen
    • Vorgaben zum Umgang mit EU-Urheberrecht
    • Öffentliche Zusammenfassung der Trainingsinhalte nach dem vorgesehenen Muster

    Zusätzliche Pflichten bei systemischem Risiko

    • Modellbewertungen und adversariale Tests
    • Bewertung und Minderung systemischer Risiken
    • Meldung schwerwiegender Vorfälle
    • Angemessene Cybersicherheit

    Code of Practice

    Der GPAI Code of Practice ist ein freiwilliges Instrument, mit dem Anbieter die Einhaltung der gesetzlichen Pflichten zu Transparenz, Urheberrecht sowie Sicherheit und Schutz nachweisen können.

    Für normale Anwender

    Die meisten Endnutzer sind keine Anbieter eines Basismodells. Relevant bleibt aber, welche Dokumentation, Lizenz und Sicherheitsinformationen der jeweilige Anbieter bereitstellt.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Desinformation mit KI: Geschwindigkeit, Umfang und Glaubwürdigkeit

    Das Risiko entsteht aus der Kombination von massenhafter Produktion, gezielter Ansprache, glaubwürdig wirkenden Medien und schneller Verbreitung. Gegenmaßnahmen müssen daher nicht nur einzelne Fälschungen erkennen, sondern auch Quellen, Verteilung und Anreize betrachten.

    Typische Muster

    • Erfundene Zitate und Dokumente
    • Imitierte Stimmen für Betrug oder Rufschädigung
    • Bilder realer Ereignisse in falschem Kontext
    • Viele leicht veränderte Beiträge zur künstlichen Verstärkung
    • Automatisierte Konten und personalisierte Nachrichten

    Robuste Gegenmaßnahmen

    • Verifizierte Kommunikationskanäle für offizielle Aussagen
    • Vier-Augen-Prinzip bei finanziellen oder sicherheitskritischen Anweisungen
    • Schnelle öffentliche Korrekturen mit Belegen
    • Archivierung von Originalmaterial und Herkunftsinformationen
    • Medienkompetenz statt Vertrauen in einen einzigen Detektor

    Nicht vorschnell als KI bezeichnen

    Auch echte Inhalte können ungewöhnlich aussehen. Eine falsche Deepfake-Behauptung kann selbst zur Desinformation werden.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • KI-Agenten sicher einsetzen: Rechte, Freigaben und Protokolle

    Die wichtigste Sicherheitsregel lautet: Ein Agent erhält nur die Rechte, Daten und Werkzeuge, die für die konkrete Aufgabe notwendig sind. Kritische oder irreversible Aktionen werden nicht allein aufgrund einer Modellausgabe ausgeführt.

    Mindestmaßnahmen

    • Getrenntes Benutzerkonto mit minimalen Rechten
    • Lesen und Schreiben getrennt freigeben
    • Bestätigung vor Versand, Löschung, Kauf oder Veröffentlichung
    • Grenzen für Kosten, Laufzeit und Anzahl von Aktionen
    • Vollständige Protokolle und nachvollziehbare Werkzeugaufrufe
    • Sicherer Abbruch und Übergabe an einen Menschen

    Externe Inhalte

    Webseiten, E-Mails und Dokumente können versteckte Anweisungen enthalten. Der Agent darf sie nicht als gleichrangig mit den vom Betreiber festgelegten Regeln behandeln.

    Testen

    Vor produktivem Einsatz mit Testkonten, künstlichen Daten, Angriffsszenarien und absichtlich widersprüchlichen Eingaben prüfen.

    Private Nutzung

    Auch ein privater Assistent sollte nicht uneingeschränkt auf Passwortspeicher, Bankkonten, private Nachrichten und alle Dateien zugleich zugreifen.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • KI-Lieferkette: Modelle, Daten, Erweiterungen und Abhängigkeiten prüfen

    Neben dem Modell selbst gehören Datenquellen, Bibliotheken, Modellgewichte, APIs, Plugins, Browser-Erweiterungen und Hosting zur Sicherheits- und Vertrauenskette. Eine bekannte Benutzeroberfläche sagt wenig darüber aus, welche Komponenten im Hintergrund beteiligt sind.

    Inventar führen

    • Verwendete Modelle und Versionen
    • Anbieter, Hosting und Datenregion
    • Bibliotheken, Container und Erweiterungen
    • Datenquellen und Vektordatenbanken
    • Werkzeuge, APIs und Berechtigungen

    Prüfung vor Einsatz

    • Herkunft und Integrität von Dateien
    • Lizenz und Nutzungsbedingungen
    • Aktualisierungs- und Sicherheitsprozess des Anbieters
    • Bekannte Schwachstellen und Abhängigkeiten
    • Möglichkeiten zum Austausch oder Abschalten einzelner Komponenten

    Änderungen beobachten

    Ein Cloud-Dienst kann Modell, Filter oder Unterauftragnehmer ändern. Kritische Systeme benötigen deshalb Versionskontrolle, Abnahmetests und einen dokumentierten Änderungsprozess.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • KI-Risiken systematisch managen: Govern, Map, Measure, Manage

    Risikomanagement ist kein einmaliger Test vor dem Start. Es begleitet Auswahl, Entwicklung, Betrieb, Änderungen und Außerbetriebnahme eines Systems. Die Maßnahmen müssen zum tatsächlichen Schadenspotenzial passen.

    Govern – Verantwortung festlegen

    • Rollen, Freigaben und Eskalation definieren
    • Richtlinien und Dokumentation pflegen
    • Betroffene Gruppen und Fachkompetenz einbeziehen

    Map – Kontext verstehen

    • Zweck, Nutzer und betroffene Personen beschreiben
    • Abhängigkeiten und Missbrauchsmöglichkeiten erfassen
    • Grenzen und erwartbare Folgen dokumentieren

    Measure – prüfen und messen

    • Qualität, Robustheit, Verzerrungen und Datenschutz testen
    • Ergebnisse mit realistischen Fällen bewerten
    • Unsicherheiten und Testgrenzen offenlegen

    Manage – Risiken behandeln

    • Risiken priorisieren und Maßnahmen umsetzen
    • Menschliche Kontrolle und Ausweichprozesse vorsehen
    • Vorfälle beobachten und Verbesserungen nachverfolgen

    Praxisregel

    Je größer die mögliche Auswirkung auf Menschen, Geld, Gesundheit oder Rechte, desto stärker müssen Nachweise, Kontrollen und unabhängige Prüfungen sein.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.