KI Panorama

Suche

Thema: Grundrechte

  • Verbotene KI-Praktiken in der EU

    Der AI Act verbietet mehrere Praktiken, die Menschen manipulieren, Schwächen ausnutzen oder Grundrechte besonders stark beeinträchtigen. Seit Februar 2025 gelten die ersten acht Verbote. Ein zusätzliches Verbot für Systeme zur Erzeugung nicht einvernehmlicher intimer Inhalte tritt nach dem AI Omnibus im Dezember 2026 in Kraft.

    Beispiele

    • Schädliche Manipulation oder Täuschung
    • Schädliche Ausnutzung besonderer Verletzlichkeit
    • Social Scoring
    • Ungezieltes Sammeln von Gesichtern zum Aufbau von Erkennungsdatenbanken
    • Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen in den erfassten Fällen
    • Bestimmte biometrische Kategorisierung und Echtzeit-Fernidentifizierung
    • KI-Systeme für nicht einvernehmliche intime Darstellungen und Missbrauchsmaterial

    Nicht jede ähnliche Funktion ist automatisch verboten

    Die genaue Einordnung hängt von Zweck, Kontext, Ausnahmen und rechtlicher Definition ab. Eine technische Funktion darf nicht ohne Prüfung mit einer verbotenen Praxis gleichgesetzt werden.

    Für Betreiber

    Organisationen sollten bereits vor Beschaffung oder Entwicklung prüfen, ob der geplante Anwendungsfall in einen verbotenen Bereich fällt. Ein späteres Abschalten ist kein Ersatz für diese Vorprüfung.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Bias und Diskriminierung: Warum neutrale Daten nicht automatisch neutral sind

    Verzerrungen entstehen nicht nur im Modell. Sie können aus der Auswahl der Aufgabe, unvollständigen Daten, historischen Entscheidungen, Beschriftungen, Zielgrößen oder dem Einsatzkontext stammen. Ein Gesamtergebnis kann trotz guter Durchschnittswerte einzelne Gruppen benachteiligen.

    Typische Ursachen

    • Unterrepräsentierte Gruppen in Trainings- oder Testdaten
    • Historische Daten spiegeln frühere Diskriminierung
    • Stellvertretermerkmale korrelieren mit geschützten Eigenschaften
    • Fehlerhafte oder uneinheitliche Beschriftungen
    • Optimierung auf eine Kennzahl, die reale Folgen nicht abbildet

    Sinnvolle Prüfung

    • Betroffene Gruppen und Schadensarten vorab bestimmen
    • Ergebnisse getrennt nach relevanten Gruppen auswerten
    • Fehlerfälle qualitativ untersuchen
    • Beschwerden und Korrekturmöglichkeiten schaffen
    • System und Arbeitsprozess gemeinsam beurteilen

    Grenze technischer Fairnessmetriken

    Unterschiedliche Fairnessziele können sich widersprechen. Welche Abwägung vertretbar ist, ist nicht nur eine mathematische, sondern auch eine rechtliche und gesellschaftliche Frage.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Menschliche Kontrolle: Mehr als ein Bestätigungsbutton

    Ein Mensch in der Schleife verhindert Fehler nicht automatisch. Zeitdruck, Automatisierungsvertrauen, unklare Zuständigkeit oder fehlende Alternativen können die Kontrolle wirkungslos machen. Gute Aufsicht ist organisatorisch und technisch vorbereitet.

    Wirksame Aufsicht braucht

    • Verständliche Informationen über Zweck, Grenzen und Unsicherheit
    • Ausreichend Zeit und Fachkenntnis für eine Prüfung
    • Zugriff auf zugrunde liegende Daten und Begründungen soweit möglich
    • Befugnis, das Ergebnis zu ändern oder das System abzuschalten
    • Einen funktionierenden manuellen Ersatzprozess

    Warnzeichen

    • Menschen bestätigen fast alle Vorschläge ungeprüft
    • Abweichungen müssen aufwendig begründet werden
    • Leistungsziele lassen keine reale Prüfzeit
    • Es gibt keine Aufzeichnung, wer entschieden hat
    • Betroffene können eine Entscheidung nicht anfechten

    Besonders wichtig

    Bei Entscheidungen über Gesundheit, Beschäftigung, Bildung, Kredit, Versicherung, Recht oder staatliche Leistungen darf KI nicht als unfehlbare Autorität behandelt werden.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.