KI Panorama

Suche

Branche oder Lebensbereich: Recht

  • Bias und Diskriminierung: Warum neutrale Daten nicht automatisch neutral sind

    Verzerrungen entstehen nicht nur im Modell. Sie können aus der Auswahl der Aufgabe, unvollständigen Daten, historischen Entscheidungen, Beschriftungen, Zielgrößen oder dem Einsatzkontext stammen. Ein Gesamtergebnis kann trotz guter Durchschnittswerte einzelne Gruppen benachteiligen.

    Typische Ursachen

    • Unterrepräsentierte Gruppen in Trainings- oder Testdaten
    • Historische Daten spiegeln frühere Diskriminierung
    • Stellvertretermerkmale korrelieren mit geschützten Eigenschaften
    • Fehlerhafte oder uneinheitliche Beschriftungen
    • Optimierung auf eine Kennzahl, die reale Folgen nicht abbildet

    Sinnvolle Prüfung

    • Betroffene Gruppen und Schadensarten vorab bestimmen
    • Ergebnisse getrennt nach relevanten Gruppen auswerten
    • Fehlerfälle qualitativ untersuchen
    • Beschwerden und Korrekturmöglichkeiten schaffen
    • System und Arbeitsprozess gemeinsam beurteilen

    Grenze technischer Fairnessmetriken

    Unterschiedliche Fairnessziele können sich widersprechen. Welche Abwägung vertretbar ist, ist nicht nur eine mathematische, sondern auch eine rechtliche und gesellschaftliche Frage.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Menschliche Kontrolle: Mehr als ein Bestätigungsbutton

    Ein Mensch in der Schleife verhindert Fehler nicht automatisch. Zeitdruck, Automatisierungsvertrauen, unklare Zuständigkeit oder fehlende Alternativen können die Kontrolle wirkungslos machen. Gute Aufsicht ist organisatorisch und technisch vorbereitet.

    Wirksame Aufsicht braucht

    • Verständliche Informationen über Zweck, Grenzen und Unsicherheit
    • Ausreichend Zeit und Fachkenntnis für eine Prüfung
    • Zugriff auf zugrunde liegende Daten und Begründungen soweit möglich
    • Befugnis, das Ergebnis zu ändern oder das System abzuschalten
    • Einen funktionierenden manuellen Ersatzprozess

    Warnzeichen

    • Menschen bestätigen fast alle Vorschläge ungeprüft
    • Abweichungen müssen aufwendig begründet werden
    • Leistungsziele lassen keine reale Prüfzeit
    • Es gibt keine Aufzeichnung, wer entschieden hat
    • Betroffene können eine Entscheidung nicht anfechten

    Besonders wichtig

    Bei Entscheidungen über Gesundheit, Beschäftigung, Bildung, Kredit, Versicherung, Recht oder staatliche Leistungen darf KI nicht als unfehlbare Autorität behandelt werden.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • KI in Medizin, Recht und Finanzen: Assistenz statt unkontrollierte Entscheidung

    Ein sprachlich überzeugendes Ergebnis ist kein Nachweis fachlicher Richtigkeit. Medizinische, rechtliche und finanzielle Aussagen können von aktueller Rechtslage, individuellen Umständen, Messwerten oder professionellen Standards abhängen, die einem allgemeinen Modell fehlen.

    Geeignete Assistenzaufgaben

    • Dokumente strukturieren und verständlicher formulieren
    • Checklisten und Fragen für ein Fachgespräch vorbereiten
    • Informationen in bereitgestellten Quellen auffinden
    • Entwürfe erzeugen, die fachlich geprüft werden
    • Administrative Routinearbeiten unterstützen

    Nicht ohne qualifizierte Prüfung

    • Diagnosen, Behandlung oder Dosierung
    • Verbindliche Rechtsauslegung oder Fristberechnung
    • Kredit-, Versicherungs- oder Anlageentscheidungen
    • Automatisierte Ablehnung von Leistungen oder Bewerbern
    • Entscheidungen mit irreversiblen Folgen

    Qualitätssicherung

    • Verlässliche Originalquellen und aktuelle Fachdaten
    • Dokumentierte menschliche Endentscheidung
    • Nachvollziehbare Version und Eingaben
    • Datenschutz und Zugriffskontrolle
    • Mechanismus für Fehler, Beschwerden und Korrekturen

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Checkliste: KI in einer Organisation einführen

    Organisationen sollten nicht mit der Frage beginnen, welches Modell modern ist, sondern welches Problem gelöst werden soll, welche Daten nötig sind und wer für Fehler und Freigaben verantwortlich bleibt.

    1. Einsatzfall definieren

    • Konkrete Aufgabe und erwarteten Nutzen beschreiben
    • Betroffene Personen und mögliche Schäden erfassen
    • Nicht-KI-Alternative und manuelle Ausweichmöglichkeit festlegen

    2. Daten und Anbieter prüfen

    • Datenklassen und Schutzbedarf
    • Vertrag, Speicherort und Unterauftragnehmer
    • Training mit Eingaben und Löschfristen
    • Modellversion, Lizenz und Abhängigkeiten

    3. Pilot kontrollieren

    • Kleine Nutzergruppe und ungefährliche Testdaten
    • Messbare Qualitäts- und Sicherheitskriterien
    • Tests mit schwierigen und missbräuchlichen Eingaben
    • Dokumentierte Freigabe vor produktiver Nutzung

    4. Betrieb organisieren

    • Rollen, Schulung und Support
    • Protokolle, Vorfälle und Beschwerden
    • Regelmäßige Prüfung nach Modell- oder Prozessänderungen
    • Klare Abschalt- und Wechselmöglichkeit

    Rechtliche Prüfung

    Bei personenbezogenen Daten, Beschäftigten, Hochrisiko-Anwendungen oder regulierten Branchen müssen Datenschutz, Mitbestimmung und branchenspezifische Regeln früh geprüft werden.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Die vier Risikostufen des EU AI Act

    Nicht die technische Bezeichnung eines Modells entscheidet allein über die rechtlichen Pflichten, sondern vor allem der konkrete Verwendungszweck. Derselbe Modelltyp kann in einem harmlosen Assistenten anders eingestuft werden als bei Personalentscheidungen oder Zugang zu wesentlichen Leistungen.

    Unzulässiges Risiko

    Bestimmte Praktiken sind verboten, weil sie eine klare Gefahr für Sicherheit, Lebensgrundlagen oder Grundrechte darstellen. Dazu gehören unter anderem schädliche Manipulation, Social Scoring und bestimmte biometrische Anwendungen.

    Hohes Risiko

    Anwendungen in sensiblen Bereichen wie Bildung, Beschäftigung, wesentlichen Diensten, Strafverfolgung, Migration oder Justiz können als Hochrisiko-Systeme gelten und unterliegen strengen Anforderungen.

    Transparenzrisiko

    Menschen müssen in bestimmten Situationen erkennen können, dass sie mit KI interagieren oder dass Inhalte künstlich erzeugt oder manipuliert wurden.

    Minimales oder kein Risiko

    Für viele alltägliche Systeme wie Spamfilter oder KI-Funktionen in Spielen führt der AI Act keine zusätzlichen spezifischen Pflichten ein. Andere Gesetze bleiben dennoch anwendbar.

    Praxisregel

    Zuerst den konkreten Einsatzfall, die betroffenen Personen und mögliche Folgen beschreiben. Erst danach lässt sich die regulatorische Kategorie sinnvoll prüfen.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Verbotene KI-Praktiken in der EU

    Der AI Act verbietet mehrere Praktiken, die Menschen manipulieren, Schwächen ausnutzen oder Grundrechte besonders stark beeinträchtigen. Seit Februar 2025 gelten die ersten acht Verbote. Ein zusätzliches Verbot für Systeme zur Erzeugung nicht einvernehmlicher intimer Inhalte tritt nach dem AI Omnibus im Dezember 2026 in Kraft.

    Beispiele

    • Schädliche Manipulation oder Täuschung
    • Schädliche Ausnutzung besonderer Verletzlichkeit
    • Social Scoring
    • Ungezieltes Sammeln von Gesichtern zum Aufbau von Erkennungsdatenbanken
    • Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen in den erfassten Fällen
    • Bestimmte biometrische Kategorisierung und Echtzeit-Fernidentifizierung
    • KI-Systeme für nicht einvernehmliche intime Darstellungen und Missbrauchsmaterial

    Nicht jede ähnliche Funktion ist automatisch verboten

    Die genaue Einordnung hängt von Zweck, Kontext, Ausnahmen und rechtlicher Definition ab. Eine technische Funktion darf nicht ohne Prüfung mit einer verbotenen Praxis gleichgesetzt werden.

    Für Betreiber

    Organisationen sollten bereits vor Beschaffung oder Entwicklung prüfen, ob der geplante Anwendungsfall in einen verbotenen Bereich fällt. Ein späteres Abschalten ist kein Ersatz für diese Vorprüfung.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • KI-Inhalte kennzeichnen: Transparenz, Deepfakes und Artikel 50

    Der AI Act verlangt je nach Rolle und Inhalt maschinenlesbare Markierungen oder eine verständliche Offenlegung gegenüber Menschen. Besonders relevant sind Chatbots, Deepfakes sowie bestimmte KI-erzeugte Texte zu Themen von öffentlichem Interesse.

    Pflichten der Anbieter

    Anbieter generativer Systeme müssen technisch dafür sorgen, dass erzeugte oder manipulierte Ausgaben soweit technisch machbar maschinenlesbar markiert und als künstlich erzeugt oder verändert erkennbar sind.

    Pflichten der Anwender und Betreiber

    Wer Deepfakes veröffentlicht oder bestimmte KI-generierte Texte zu Angelegenheiten von öffentlichem Interesse verbreitet, muss deren künstliche Natur grundsätzlich offenlegen. Ausnahmen und Details hängen vom konkreten Fall ab.

    Was eine gute Kennzeichnung leisten sollte

    • Direkt am Inhalt oder klar damit verbunden sein
    • Für normale Nutzer verständlich sein
    • Nicht nur in versteckten Metadaten stehen
    • Die Art der Erzeugung oder Bearbeitung nicht übertreiben
    • Bei wesentlichen menschlichen Änderungen entsprechend angepasst werden

    Technik ersetzt keine Redaktion

    Metadaten, Wasserzeichen oder Detektoren können entfernt werden oder Fehler machen. Transparenz braucht deshalb zusätzlich sichtbare Hinweise und redaktionelle Verantwortung.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • General-Purpose AI: Pflichten für Basismodelle

    General-Purpose-AI-Modelle können viele unterschiedliche Aufgaben unterstützen und bilden oft die technische Grundlage anderer Produkte. Der AI Act richtet deshalb eigene Pflichten an ihre Anbieter. Modelle mit systemischem Risiko unterliegen zusätzlichen Anforderungen zur Bewertung und Minderung von Risiken.

    Grundpflichten

    • Technische Dokumentation für nachgelagerte Anbieter
    • Informationen über Fähigkeiten und Grenzen
    • Vorgaben zum Umgang mit EU-Urheberrecht
    • Öffentliche Zusammenfassung der Trainingsinhalte nach dem vorgesehenen Muster

    Zusätzliche Pflichten bei systemischem Risiko

    • Modellbewertungen und adversariale Tests
    • Bewertung und Minderung systemischer Risiken
    • Meldung schwerwiegender Vorfälle
    • Angemessene Cybersicherheit

    Code of Practice

    Der GPAI Code of Practice ist ein freiwilliges Instrument, mit dem Anbieter die Einhaltung der gesetzlichen Pflichten zu Transparenz, Urheberrecht sowie Sicherheit und Schutz nachweisen können.

    Für normale Anwender

    Die meisten Endnutzer sind keine Anbieter eines Basismodells. Relevant bleibt aber, welche Dokumentation, Lizenz und Sicherheitsinformationen der jeweilige Anbieter bereitstellt.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Datenschutz bei KI-Modellen: Personenbezug, Anonymität und Rechtsgrundlage

    Der Europäische Datenschutzausschuss betont, dass Anonymität von KI-Modellen im Einzelfall geprüft werden muss. Außerdem müssen Entwicklung und Einsatz eine tragfähige Rechtsgrundlage haben; unrechtmäßig verarbeitete Trainingsdaten können Folgen für die spätere Nutzung des Modells haben.

    Wann ein Modell anonym sein kann

    Entscheidend ist, ob personenbezogene Daten mit Mitteln, die vernünftigerweise eingesetzt werden könnten, direkt oder indirekt aus dem Modell gewonnen werden können. Eine pauschale Aussage für alle Modelle ist nicht möglich.

    Berechtigtes Interesse

    Eine Berufung auf berechtigte Interessen erfordert die übliche dreistufige Prüfung: legitimes Interesse, Erforderlichkeit und Abwägung gegenüber Rechten und Erwartungen betroffener Personen.

    Praktische Maßnahmen

    • Datenminimierung und klare Zweckbindung
    • Prüfung der Herkunft und Rechtmäßigkeit von Trainings- und Eingabedaten
    • Tests auf Memorisation und Datenextraktion
    • Lösch-, Widerspruchs- und Auskunftsprozesse
    • Dokumentation der technischen und organisatorischen Schutzmaßnahmen

    Keine pauschale Freigabe

    Dass Daten öffentlich auffindbar sind oder ein Modell groß ist, macht die Verarbeitung nicht automatisch rechtmäßig oder anonym.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Welche Daten gehören nicht in einen öffentlichen KI-Chat?

    Eine Eingabe in einen Cloud-Dienst ist eine Datenübermittlung an einen externen Anbieter. Ob Inhalte gespeichert, zu Sicherheitszwecken geprüft oder für Produktverbesserung verwendet werden, hängt von Vertrag, Tarif und Einstellungen ab. Vor der Nutzung müssen diese Bedingungen zum Schutzbedarf passen.

    Besonders schützenswerte Inhalte

    • Passwörter, API-Schlüssel und Zugangsdaten
    • Gesundheitsdaten und intime Informationen
    • Unveröffentlichte Kunden- oder Personaldaten
    • Vertrags-, Steuer- oder Rechtsunterlagen
    • Geschäftsgeheimnisse, Quellcode und interne Sicherheitsinformationen

    Sicherer Arbeitsablauf

    1. Aufgabe zuerst ohne vertrauliche Details formulieren
    2. Daten anonymisieren oder durch Platzhalter ersetzen
    3. Nur freigegebene Unternehmensdienste verwenden
    4. Speicher-, Trainings- und Löschoptionen prüfen
    5. Ausgaben vor weiterer Verwendung auf unbeabsichtigte Offenlegung kontrollieren

    Wichtige Grenze

    Anonymisieren bedeutet mehr als Namen zu entfernen. Kombinationen aus Ort, Datum, Funktion oder seltenen Eigenschaften können eine Person weiterhin identifizierbar machen.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.