KI Panorama

Suche

Branche oder Lebensbereich: Büro und Verwaltung

  • API-Schlüssel, Passwörter und Geschäftsgeheimnisse vor KI-Systemen schützen

    KI-Systeme verarbeiten häufig Inhalte über mehrere Komponenten: Benutzeroberfläche, Modellanbieter, Protokollierung, Erweiterungen und verbundene Werkzeuge. Ein versehentlich eingegebenes Geheimnis kann dadurch an mehr Stellen landen als erwartet.

    Technische Regeln

    • Schlüssel über Secret-Manager und Umgebungsvariablen bereitstellen
    • Protokolle und Fehlerberichte auf sensible Daten prüfen
    • Berechtigungen und Gültigkeitsdauer von Schlüsseln begrenzen
    • Regelmäßig rotieren und bei Verdacht sofort sperren
    • Testdaten statt Produktivdaten verwenden

    Für Prompts

    Nur Platzhalter wie KUNDENNUMMER oder API_KEY verwenden. Das Modell muss den echten Wert für die meisten Erklär-, Schreib- oder Programmieraufgaben nicht kennen.

    Bei einem Vorfall

    • Schlüssel widerrufen oder rotieren
    • Betroffene Protokolle und Dienste identifizieren
    • Zugriffe prüfen
    • Mögliche Datenverletzung nach den geltenden Prozessen bewerten

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • KI-Lieferkette: Modelle, Daten, Erweiterungen und Abhängigkeiten prüfen

    Neben dem Modell selbst gehören Datenquellen, Bibliotheken, Modellgewichte, APIs, Plugins, Browser-Erweiterungen und Hosting zur Sicherheits- und Vertrauenskette. Eine bekannte Benutzeroberfläche sagt wenig darüber aus, welche Komponenten im Hintergrund beteiligt sind.

    Inventar führen

    • Verwendete Modelle und Versionen
    • Anbieter, Hosting und Datenregion
    • Bibliotheken, Container und Erweiterungen
    • Datenquellen und Vektordatenbanken
    • Werkzeuge, APIs und Berechtigungen

    Prüfung vor Einsatz

    • Herkunft und Integrität von Dateien
    • Lizenz und Nutzungsbedingungen
    • Aktualisierungs- und Sicherheitsprozess des Anbieters
    • Bekannte Schwachstellen und Abhängigkeiten
    • Möglichkeiten zum Austausch oder Abschalten einzelner Komponenten

    Änderungen beobachten

    Ein Cloud-Dienst kann Modell, Filter oder Unterauftragnehmer ändern. Kritische Systeme benötigen deshalb Versionskontrolle, Abnahmetests und einen dokumentierten Änderungsprozess.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • KI-Risiken systematisch managen: Govern, Map, Measure, Manage

    Risikomanagement ist kein einmaliger Test vor dem Start. Es begleitet Auswahl, Entwicklung, Betrieb, Änderungen und Außerbetriebnahme eines Systems. Die Maßnahmen müssen zum tatsächlichen Schadenspotenzial passen.

    Govern – Verantwortung festlegen

    • Rollen, Freigaben und Eskalation definieren
    • Richtlinien und Dokumentation pflegen
    • Betroffene Gruppen und Fachkompetenz einbeziehen

    Map – Kontext verstehen

    • Zweck, Nutzer und betroffene Personen beschreiben
    • Abhängigkeiten und Missbrauchsmöglichkeiten erfassen
    • Grenzen und erwartbare Folgen dokumentieren

    Measure – prüfen und messen

    • Qualität, Robustheit, Verzerrungen und Datenschutz testen
    • Ergebnisse mit realistischen Fällen bewerten
    • Unsicherheiten und Testgrenzen offenlegen

    Manage – Risiken behandeln

    • Risiken priorisieren und Maßnahmen umsetzen
    • Menschliche Kontrolle und Ausweichprozesse vorsehen
    • Vorfälle beobachten und Verbesserungen nachverfolgen

    Praxisregel

    Je größer die mögliche Auswirkung auf Menschen, Geld, Gesundheit oder Rechte, desto stärker müssen Nachweise, Kontrollen und unabhängige Prüfungen sein.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Bias und Diskriminierung: Warum neutrale Daten nicht automatisch neutral sind

    Verzerrungen entstehen nicht nur im Modell. Sie können aus der Auswahl der Aufgabe, unvollständigen Daten, historischen Entscheidungen, Beschriftungen, Zielgrößen oder dem Einsatzkontext stammen. Ein Gesamtergebnis kann trotz guter Durchschnittswerte einzelne Gruppen benachteiligen.

    Typische Ursachen

    • Unterrepräsentierte Gruppen in Trainings- oder Testdaten
    • Historische Daten spiegeln frühere Diskriminierung
    • Stellvertretermerkmale korrelieren mit geschützten Eigenschaften
    • Fehlerhafte oder uneinheitliche Beschriftungen
    • Optimierung auf eine Kennzahl, die reale Folgen nicht abbildet

    Sinnvolle Prüfung

    • Betroffene Gruppen und Schadensarten vorab bestimmen
    • Ergebnisse getrennt nach relevanten Gruppen auswerten
    • Fehlerfälle qualitativ untersuchen
    • Beschwerden und Korrekturmöglichkeiten schaffen
    • System und Arbeitsprozess gemeinsam beurteilen

    Grenze technischer Fairnessmetriken

    Unterschiedliche Fairnessziele können sich widersprechen. Welche Abwägung vertretbar ist, ist nicht nur eine mathematische, sondern auch eine rechtliche und gesellschaftliche Frage.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Die vier Risikostufen des EU AI Act

    Nicht die technische Bezeichnung eines Modells entscheidet allein über die rechtlichen Pflichten, sondern vor allem der konkrete Verwendungszweck. Derselbe Modelltyp kann in einem harmlosen Assistenten anders eingestuft werden als bei Personalentscheidungen oder Zugang zu wesentlichen Leistungen.

    Unzulässiges Risiko

    Bestimmte Praktiken sind verboten, weil sie eine klare Gefahr für Sicherheit, Lebensgrundlagen oder Grundrechte darstellen. Dazu gehören unter anderem schädliche Manipulation, Social Scoring und bestimmte biometrische Anwendungen.

    Hohes Risiko

    Anwendungen in sensiblen Bereichen wie Bildung, Beschäftigung, wesentlichen Diensten, Strafverfolgung, Migration oder Justiz können als Hochrisiko-Systeme gelten und unterliegen strengen Anforderungen.

    Transparenzrisiko

    Menschen müssen in bestimmten Situationen erkennen können, dass sie mit KI interagieren oder dass Inhalte künstlich erzeugt oder manipuliert wurden.

    Minimales oder kein Risiko

    Für viele alltägliche Systeme wie Spamfilter oder KI-Funktionen in Spielen führt der AI Act keine zusätzlichen spezifischen Pflichten ein. Andere Gesetze bleiben dennoch anwendbar.

    Praxisregel

    Zuerst den konkreten Einsatzfall, die betroffenen Personen und mögliche Folgen beschreiben. Erst danach lässt sich die regulatorische Kategorie sinnvoll prüfen.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Menschliche Kontrolle: Mehr als ein Bestätigungsbutton

    Ein Mensch in der Schleife verhindert Fehler nicht automatisch. Zeitdruck, Automatisierungsvertrauen, unklare Zuständigkeit oder fehlende Alternativen können die Kontrolle wirkungslos machen. Gute Aufsicht ist organisatorisch und technisch vorbereitet.

    Wirksame Aufsicht braucht

    • Verständliche Informationen über Zweck, Grenzen und Unsicherheit
    • Ausreichend Zeit und Fachkenntnis für eine Prüfung
    • Zugriff auf zugrunde liegende Daten und Begründungen soweit möglich
    • Befugnis, das Ergebnis zu ändern oder das System abzuschalten
    • Einen funktionierenden manuellen Ersatzprozess

    Warnzeichen

    • Menschen bestätigen fast alle Vorschläge ungeprüft
    • Abweichungen müssen aufwendig begründet werden
    • Leistungsziele lassen keine reale Prüfzeit
    • Es gibt keine Aufzeichnung, wer entschieden hat
    • Betroffene können eine Entscheidung nicht anfechten

    Besonders wichtig

    Bei Entscheidungen über Gesundheit, Beschäftigung, Bildung, Kredit, Versicherung, Recht oder staatliche Leistungen darf KI nicht als unfehlbare Autorität behandelt werden.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Verbotene KI-Praktiken in der EU

    Der AI Act verbietet mehrere Praktiken, die Menschen manipulieren, Schwächen ausnutzen oder Grundrechte besonders stark beeinträchtigen. Seit Februar 2025 gelten die ersten acht Verbote. Ein zusätzliches Verbot für Systeme zur Erzeugung nicht einvernehmlicher intimer Inhalte tritt nach dem AI Omnibus im Dezember 2026 in Kraft.

    Beispiele

    • Schädliche Manipulation oder Täuschung
    • Schädliche Ausnutzung besonderer Verletzlichkeit
    • Social Scoring
    • Ungezieltes Sammeln von Gesichtern zum Aufbau von Erkennungsdatenbanken
    • Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen in den erfassten Fällen
    • Bestimmte biometrische Kategorisierung und Echtzeit-Fernidentifizierung
    • KI-Systeme für nicht einvernehmliche intime Darstellungen und Missbrauchsmaterial

    Nicht jede ähnliche Funktion ist automatisch verboten

    Die genaue Einordnung hängt von Zweck, Kontext, Ausnahmen und rechtlicher Definition ab. Eine technische Funktion darf nicht ohne Prüfung mit einer verbotenen Praxis gleichgesetzt werden.

    Für Betreiber

    Organisationen sollten bereits vor Beschaffung oder Entwicklung prüfen, ob der geplante Anwendungsfall in einen verbotenen Bereich fällt. Ein späteres Abschalten ist kein Ersatz für diese Vorprüfung.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Checkliste: KI in einer Organisation einführen

    Organisationen sollten nicht mit der Frage beginnen, welches Modell modern ist, sondern welches Problem gelöst werden soll, welche Daten nötig sind und wer für Fehler und Freigaben verantwortlich bleibt.

    1. Einsatzfall definieren

    • Konkrete Aufgabe und erwarteten Nutzen beschreiben
    • Betroffene Personen und mögliche Schäden erfassen
    • Nicht-KI-Alternative und manuelle Ausweichmöglichkeit festlegen

    2. Daten und Anbieter prüfen

    • Datenklassen und Schutzbedarf
    • Vertrag, Speicherort und Unterauftragnehmer
    • Training mit Eingaben und Löschfristen
    • Modellversion, Lizenz und Abhängigkeiten

    3. Pilot kontrollieren

    • Kleine Nutzergruppe und ungefährliche Testdaten
    • Messbare Qualitäts- und Sicherheitskriterien
    • Tests mit schwierigen und missbräuchlichen Eingaben
    • Dokumentierte Freigabe vor produktiver Nutzung

    4. Betrieb organisieren

    • Rollen, Schulung und Support
    • Protokolle, Vorfälle und Beschwerden
    • Regelmäßige Prüfung nach Modell- oder Prozessänderungen
    • Klare Abschalt- und Wechselmöglichkeit

    Rechtliche Prüfung

    Bei personenbezogenen Daten, Beschäftigten, Hochrisiko-Anwendungen oder regulierten Branchen müssen Datenschutz, Mitbestimmung und branchenspezifische Regeln früh geprüft werden.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • KI-Inhalte kennzeichnen: Transparenz, Deepfakes und Artikel 50

    Der AI Act verlangt je nach Rolle und Inhalt maschinenlesbare Markierungen oder eine verständliche Offenlegung gegenüber Menschen. Besonders relevant sind Chatbots, Deepfakes sowie bestimmte KI-erzeugte Texte zu Themen von öffentlichem Interesse.

    Pflichten der Anbieter

    Anbieter generativer Systeme müssen technisch dafür sorgen, dass erzeugte oder manipulierte Ausgaben soweit technisch machbar maschinenlesbar markiert und als künstlich erzeugt oder verändert erkennbar sind.

    Pflichten der Anwender und Betreiber

    Wer Deepfakes veröffentlicht oder bestimmte KI-generierte Texte zu Angelegenheiten von öffentlichem Interesse verbreitet, muss deren künstliche Natur grundsätzlich offenlegen. Ausnahmen und Details hängen vom konkreten Fall ab.

    Was eine gute Kennzeichnung leisten sollte

    • Direkt am Inhalt oder klar damit verbunden sein
    • Für normale Nutzer verständlich sein
    • Nicht nur in versteckten Metadaten stehen
    • Die Art der Erzeugung oder Bearbeitung nicht übertreiben
    • Bei wesentlichen menschlichen Änderungen entsprechend angepasst werden

    Technik ersetzt keine Redaktion

    Metadaten, Wasserzeichen oder Detektoren können entfernt werden oder Fehler machen. Transparenz braucht deshalb zusätzlich sichtbare Hinweise und redaktionelle Verantwortung.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Datenschutz bei KI-Modellen: Personenbezug, Anonymität und Rechtsgrundlage

    Der Europäische Datenschutzausschuss betont, dass Anonymität von KI-Modellen im Einzelfall geprüft werden muss. Außerdem müssen Entwicklung und Einsatz eine tragfähige Rechtsgrundlage haben; unrechtmäßig verarbeitete Trainingsdaten können Folgen für die spätere Nutzung des Modells haben.

    Wann ein Modell anonym sein kann

    Entscheidend ist, ob personenbezogene Daten mit Mitteln, die vernünftigerweise eingesetzt werden könnten, direkt oder indirekt aus dem Modell gewonnen werden können. Eine pauschale Aussage für alle Modelle ist nicht möglich.

    Berechtigtes Interesse

    Eine Berufung auf berechtigte Interessen erfordert die übliche dreistufige Prüfung: legitimes Interesse, Erforderlichkeit und Abwägung gegenüber Rechten und Erwartungen betroffener Personen.

    Praktische Maßnahmen

    • Datenminimierung und klare Zweckbindung
    • Prüfung der Herkunft und Rechtmäßigkeit von Trainings- und Eingabedaten
    • Tests auf Memorisation und Datenextraktion
    • Lösch-, Widerspruchs- und Auskunftsprozesse
    • Dokumentation der technischen und organisatorischen Schutzmaßnahmen

    Keine pauschale Freigabe

    Dass Daten öffentlich auffindbar sind oder ein Modell groß ist, macht die Verarbeitung nicht automatisch rechtmäßig oder anonym.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.