KI Panorama

Suche

Branche oder Lebensbereich: Industrie

  • Lokale KI oder Cloud: Datenschutz ist mehr als der Speicherort

    Bei lokaler KI bleiben Eingaben grundsätzlich auf dem eigenen System, sofern keine Zusatzdienste Daten übertragen. Dafür liegen Aktualisierung, Zugriffsschutz, Backups und Protokollierung stärker in der eigenen Verantwortung. Cloud-Systeme können professionell abgesichert sein, benötigen aber passende Verträge und Einstellungen.

    Lokale Vorteile

    • Keine notwendige Übertragung an einen externen KI-Dienst
    • Bessere Kontrolle über Aufbewahrung und Löschung
    • Einsatz in abgeschotteten Netzen möglich

    Lokale Risiken

    • Unsichere Installation oder veraltete Komponenten
    • Unverschlüsselte Dateien und Backups
    • Modelle oder Erweiterungen aus unbekannten Quellen
    • Fehlende Rechte- und Protokollverwaltung

    Cloud-Prüfpunkte

    • Vertrag und Auftragsverarbeitung
    • Speicherort und Unterauftragnehmer
    • Nutzung von Eingaben für Training oder Qualitätskontrolle
    • Löschfristen und Exportmöglichkeiten
    • Identitäts-, Rollen- und Protokollfunktionen

    Entscheidungsregel

    Schutzbedarf, technische Fähigkeiten, Vertrag und tatsächlicher Datenfluss müssen gemeinsam bewertet werden.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Prompt Injection: Wenn fremde Inhalte die KI steuern

    Sprachmodelle trennen Befehle und Daten nicht zuverlässig wie klassische Programme. Ein Agent kann deshalb eine bösartige Anweisung aus einem Dokument übernehmen und anschließend Daten preisgeben oder ein Werkzeug falsch verwenden.

    Direkte und indirekte Injection

    Direkte Angriffe stehen in der Nutzereingabe. Indirekte Angriffe liegen in externen Inhalten wie Webseiten, E-Mails, PDFs, Bildern oder Datenbankeinträgen, die das System verarbeitet.

    Mögliche Folgen

    • Umgehung interner Regeln
    • Offenlegung vertraulicher Informationen
    • Manipulation einer Zusammenfassung oder Entscheidung
    • Missbrauch verbundener Werkzeuge
    • Versteckte Weiterleitung zu schädlichen Inhalten

    Schutzmaßnahmen

    • Externe Inhalte grundsätzlich als nicht vertrauenswürdige Daten behandeln
    • Werkzeugrechte minimieren
    • Kritische Aktionen separat bestätigen
    • Ausgaben und Parameter technisch validieren
    • Geheimnisse nicht in den Modellkontext geben
    • Protokollierung und Tests mit Angriffsmustern

    Keine vollständige Textfilter-Lösung

    Prompt Injection lässt sich nicht allein durch eine Liste verbotener Wörter zuverlässig verhindern. Die Systemarchitektur muss mögliche Fehlentscheidungen begrenzen.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • KI-Agenten sicher einsetzen: Rechte, Freigaben und Protokolle

    Die wichtigste Sicherheitsregel lautet: Ein Agent erhält nur die Rechte, Daten und Werkzeuge, die für die konkrete Aufgabe notwendig sind. Kritische oder irreversible Aktionen werden nicht allein aufgrund einer Modellausgabe ausgeführt.

    Mindestmaßnahmen

    • Getrenntes Benutzerkonto mit minimalen Rechten
    • Lesen und Schreiben getrennt freigeben
    • Bestätigung vor Versand, Löschung, Kauf oder Veröffentlichung
    • Grenzen für Kosten, Laufzeit und Anzahl von Aktionen
    • Vollständige Protokolle und nachvollziehbare Werkzeugaufrufe
    • Sicherer Abbruch und Übergabe an einen Menschen

    Externe Inhalte

    Webseiten, E-Mails und Dokumente können versteckte Anweisungen enthalten. Der Agent darf sie nicht als gleichrangig mit den vom Betreiber festgelegten Regeln behandeln.

    Testen

    Vor produktivem Einsatz mit Testkonten, künstlichen Daten, Angriffsszenarien und absichtlich widersprüchlichen Eingaben prüfen.

    Private Nutzung

    Auch ein privater Assistent sollte nicht uneingeschränkt auf Passwortspeicher, Bankkonten, private Nachrichten und alle Dateien zugleich zugreifen.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • API-Schlüssel, Passwörter und Geschäftsgeheimnisse vor KI-Systemen schützen

    KI-Systeme verarbeiten häufig Inhalte über mehrere Komponenten: Benutzeroberfläche, Modellanbieter, Protokollierung, Erweiterungen und verbundene Werkzeuge. Ein versehentlich eingegebenes Geheimnis kann dadurch an mehr Stellen landen als erwartet.

    Technische Regeln

    • Schlüssel über Secret-Manager und Umgebungsvariablen bereitstellen
    • Protokolle und Fehlerberichte auf sensible Daten prüfen
    • Berechtigungen und Gültigkeitsdauer von Schlüsseln begrenzen
    • Regelmäßig rotieren und bei Verdacht sofort sperren
    • Testdaten statt Produktivdaten verwenden

    Für Prompts

    Nur Platzhalter wie KUNDENNUMMER oder API_KEY verwenden. Das Modell muss den echten Wert für die meisten Erklär-, Schreib- oder Programmieraufgaben nicht kennen.

    Bei einem Vorfall

    • Schlüssel widerrufen oder rotieren
    • Betroffene Protokolle und Dienste identifizieren
    • Zugriffe prüfen
    • Mögliche Datenverletzung nach den geltenden Prozessen bewerten

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • KI-Lieferkette: Modelle, Daten, Erweiterungen und Abhängigkeiten prüfen

    Neben dem Modell selbst gehören Datenquellen, Bibliotheken, Modellgewichte, APIs, Plugins, Browser-Erweiterungen und Hosting zur Sicherheits- und Vertrauenskette. Eine bekannte Benutzeroberfläche sagt wenig darüber aus, welche Komponenten im Hintergrund beteiligt sind.

    Inventar führen

    • Verwendete Modelle und Versionen
    • Anbieter, Hosting und Datenregion
    • Bibliotheken, Container und Erweiterungen
    • Datenquellen und Vektordatenbanken
    • Werkzeuge, APIs und Berechtigungen

    Prüfung vor Einsatz

    • Herkunft und Integrität von Dateien
    • Lizenz und Nutzungsbedingungen
    • Aktualisierungs- und Sicherheitsprozess des Anbieters
    • Bekannte Schwachstellen und Abhängigkeiten
    • Möglichkeiten zum Austausch oder Abschalten einzelner Komponenten

    Änderungen beobachten

    Ein Cloud-Dienst kann Modell, Filter oder Unterauftragnehmer ändern. Kritische Systeme benötigen deshalb Versionskontrolle, Abnahmetests und einen dokumentierten Änderungsprozess.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • KI-Risiken systematisch managen: Govern, Map, Measure, Manage

    Risikomanagement ist kein einmaliger Test vor dem Start. Es begleitet Auswahl, Entwicklung, Betrieb, Änderungen und Außerbetriebnahme eines Systems. Die Maßnahmen müssen zum tatsächlichen Schadenspotenzial passen.

    Govern – Verantwortung festlegen

    • Rollen, Freigaben und Eskalation definieren
    • Richtlinien und Dokumentation pflegen
    • Betroffene Gruppen und Fachkompetenz einbeziehen

    Map – Kontext verstehen

    • Zweck, Nutzer und betroffene Personen beschreiben
    • Abhängigkeiten und Missbrauchsmöglichkeiten erfassen
    • Grenzen und erwartbare Folgen dokumentieren

    Measure – prüfen und messen

    • Qualität, Robustheit, Verzerrungen und Datenschutz testen
    • Ergebnisse mit realistischen Fällen bewerten
    • Unsicherheiten und Testgrenzen offenlegen

    Manage – Risiken behandeln

    • Risiken priorisieren und Maßnahmen umsetzen
    • Menschliche Kontrolle und Ausweichprozesse vorsehen
    • Vorfälle beobachten und Verbesserungen nachverfolgen

    Praxisregel

    Je größer die mögliche Auswirkung auf Menschen, Geld, Gesundheit oder Rechte, desto stärker müssen Nachweise, Kontrollen und unabhängige Prüfungen sein.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Checkliste: KI in einer Organisation einführen

    Organisationen sollten nicht mit der Frage beginnen, welches Modell modern ist, sondern welches Problem gelöst werden soll, welche Daten nötig sind und wer für Fehler und Freigaben verantwortlich bleibt.

    1. Einsatzfall definieren

    • Konkrete Aufgabe und erwarteten Nutzen beschreiben
    • Betroffene Personen und mögliche Schäden erfassen
    • Nicht-KI-Alternative und manuelle Ausweichmöglichkeit festlegen

    2. Daten und Anbieter prüfen

    • Datenklassen und Schutzbedarf
    • Vertrag, Speicherort und Unterauftragnehmer
    • Training mit Eingaben und Löschfristen
    • Modellversion, Lizenz und Abhängigkeiten

    3. Pilot kontrollieren

    • Kleine Nutzergruppe und ungefährliche Testdaten
    • Messbare Qualitäts- und Sicherheitskriterien
    • Tests mit schwierigen und missbräuchlichen Eingaben
    • Dokumentierte Freigabe vor produktiver Nutzung

    4. Betrieb organisieren

    • Rollen, Schulung und Support
    • Protokolle, Vorfälle und Beschwerden
    • Regelmäßige Prüfung nach Modell- oder Prozessänderungen
    • Klare Abschalt- und Wechselmöglichkeit

    Rechtliche Prüfung

    Bei personenbezogenen Daten, Beschäftigten, Hochrisiko-Anwendungen oder regulierten Branchen müssen Datenschutz, Mitbestimmung und branchenspezifische Regeln früh geprüft werden.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Verbotene KI-Praktiken in der EU

    Der AI Act verbietet mehrere Praktiken, die Menschen manipulieren, Schwächen ausnutzen oder Grundrechte besonders stark beeinträchtigen. Seit Februar 2025 gelten die ersten acht Verbote. Ein zusätzliches Verbot für Systeme zur Erzeugung nicht einvernehmlicher intimer Inhalte tritt nach dem AI Omnibus im Dezember 2026 in Kraft.

    Beispiele

    • Schädliche Manipulation oder Täuschung
    • Schädliche Ausnutzung besonderer Verletzlichkeit
    • Social Scoring
    • Ungezieltes Sammeln von Gesichtern zum Aufbau von Erkennungsdatenbanken
    • Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen in den erfassten Fällen
    • Bestimmte biometrische Kategorisierung und Echtzeit-Fernidentifizierung
    • KI-Systeme für nicht einvernehmliche intime Darstellungen und Missbrauchsmaterial

    Nicht jede ähnliche Funktion ist automatisch verboten

    Die genaue Einordnung hängt von Zweck, Kontext, Ausnahmen und rechtlicher Definition ab. Eine technische Funktion darf nicht ohne Prüfung mit einer verbotenen Praxis gleichgesetzt werden.

    Für Betreiber

    Organisationen sollten bereits vor Beschaffung oder Entwicklung prüfen, ob der geplante Anwendungsfall in einen verbotenen Bereich fällt. Ein späteres Abschalten ist kein Ersatz für diese Vorprüfung.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • General-Purpose AI: Pflichten für Basismodelle

    General-Purpose-AI-Modelle können viele unterschiedliche Aufgaben unterstützen und bilden oft die technische Grundlage anderer Produkte. Der AI Act richtet deshalb eigene Pflichten an ihre Anbieter. Modelle mit systemischem Risiko unterliegen zusätzlichen Anforderungen zur Bewertung und Minderung von Risiken.

    Grundpflichten

    • Technische Dokumentation für nachgelagerte Anbieter
    • Informationen über Fähigkeiten und Grenzen
    • Vorgaben zum Umgang mit EU-Urheberrecht
    • Öffentliche Zusammenfassung der Trainingsinhalte nach dem vorgesehenen Muster

    Zusätzliche Pflichten bei systemischem Risiko

    • Modellbewertungen und adversariale Tests
    • Bewertung und Minderung systemischer Risiken
    • Meldung schwerwiegender Vorfälle
    • Angemessene Cybersicherheit

    Code of Practice

    Der GPAI Code of Practice ist ein freiwilliges Instrument, mit dem Anbieter die Einhaltung der gesetzlichen Pflichten zu Transparenz, Urheberrecht sowie Sicherheit und Schutz nachweisen können.

    Für normale Anwender

    Die meisten Endnutzer sind keine Anbieter eines Basismodells. Relevant bleibt aber, welche Dokumentation, Lizenz und Sicherheitsinformationen der jeweilige Anbieter bereitstellt.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • EU AI Act: Was gilt wann?

    Der EU AI Act gilt stufenweise. Bereits anwendbar sind unter anderem Verbote bestimmter KI-Praktiken und Regeln für General-Purpose-AI-Modelle. Transparenzpflichten gelten ab 2. August 2026; zentrale Pflichten für Hochrisiko-Systeme wurden 2026 zeitlich verlängert. Stand dieses Artikels: 28. Juli 2026.

    Die wichtigsten Termine

    • 1. August 2024: Inkrafttreten des AI Act
    • 2. Februar 2025: erste Verbote und ursprüngliche Regeln zur KI-Kompetenz werden anwendbar
    • 2. August 2025: Regeln für General-Purpose-AI-Modelle und Governance werden anwendbar
    • 2. August 2026: Transparenzpflichten für bestimmte KI-Systeme und synthetische Inhalte werden anwendbar
    • 2. Dezember 2027: Hochrisiko-Systeme aus den in Anhang III genannten sensiblen Bereichen
    • 2. August 2028: Hochrisiko-KI als Bestandteil regulierter Produkte nach Anhang I

    Warum sich Termine geändert haben

    Der am 27. Juli 2026 in Kraft getretene AI Omnibus verlängerte insbesondere die Übergangsfristen für Hochrisiko-Systeme. Rechtliche Zeitpläne sollten deshalb immer mit der aktuellen EU-Übersicht geprüft werden.

    Für wen ist das relevant?

    • Anbieter von KI-Systemen und Modellen
    • Unternehmen und Behörden, die KI einsetzen
    • Organisationen mit KI in Personal, Bildung, Kredit, Gesundheit oder kritischer Infrastruktur
    • Betreiber von Diensten mit Chatbots, Deepfakes oder anderen generativen Inhalten

    Wichtiger Hinweis

    Dieser Überblick ist eine Orientierung und keine Rechtsberatung. Maßgeblich sind der geltende Gesetzestext, einschlägige Leitlinien und die konkrete Rolle im Einzelfall.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.