KI Panorama

Suche

Thema: Sicherheit

  • Deepfakes erkennen: Warum Augenmaß wichtiger ist als ein Detektor

    Generative Systeme können Bild, Audio und Video sehr überzeugend verändern. Gleichzeitig erzeugen Kompression, Schnitt, schlechte Verbindung und normale Bearbeitung ähnliche Artefakte. Eine belastbare Prüfung kombiniert Quelle, Kontext, Herkunftsdaten und unabhängige Bestätigung.

    Prüfung in fünf Schritten

    1. Originalquelle und früheste Veröffentlichung suchen
    2. Datum, Ort und behaupteten Kontext prüfen
    3. Mit unabhängigen seriösen Quellen vergleichen
    4. Nach Schnitten, unpassenden Reflexionen oder Tonübergängen suchen, ohne einzelne Artefakte zu überbewerten
    5. Vorhandene Content Credentials oder Originaldateien prüfen

    Detektoren richtig einordnen

    Detektoren liefern Wahrscheinlichkeiten und können durch neue Generatoren, Bearbeitung oder Kompression versagen. Ihr Ergebnis ist ein Hinweis, kein Beweis.

    Bei Stimmen

    Eine vertraut klingende Stimme ist kein Identitätsnachweis. Bei Geldforderungen oder dringenden Anweisungen immer über einen zweiten, bekannten Kommunikationsweg rückfragen.

    Bei akuter Gefahr

    Betrugsversuche dokumentieren, nicht weiterverbreiten und bei Bedarf Plattform, Bank oder zuständige Behörden kontaktieren.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Prompt Injection: Wenn fremde Inhalte die KI steuern

    Sprachmodelle trennen Befehle und Daten nicht zuverlässig wie klassische Programme. Ein Agent kann deshalb eine bösartige Anweisung aus einem Dokument übernehmen und anschließend Daten preisgeben oder ein Werkzeug falsch verwenden.

    Direkte und indirekte Injection

    Direkte Angriffe stehen in der Nutzereingabe. Indirekte Angriffe liegen in externen Inhalten wie Webseiten, E-Mails, PDFs, Bildern oder Datenbankeinträgen, die das System verarbeitet.

    Mögliche Folgen

    • Umgehung interner Regeln
    • Offenlegung vertraulicher Informationen
    • Manipulation einer Zusammenfassung oder Entscheidung
    • Missbrauch verbundener Werkzeuge
    • Versteckte Weiterleitung zu schädlichen Inhalten

    Schutzmaßnahmen

    • Externe Inhalte grundsätzlich als nicht vertrauenswürdige Daten behandeln
    • Werkzeugrechte minimieren
    • Kritische Aktionen separat bestätigen
    • Ausgaben und Parameter technisch validieren
    • Geheimnisse nicht in den Modellkontext geben
    • Protokollierung und Tests mit Angriffsmustern

    Keine vollständige Textfilter-Lösung

    Prompt Injection lässt sich nicht allein durch eine Liste verbotener Wörter zuverlässig verhindern. Die Systemarchitektur muss mögliche Fehlentscheidungen begrenzen.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • KI-Agenten sicher einsetzen: Rechte, Freigaben und Protokolle

    Die wichtigste Sicherheitsregel lautet: Ein Agent erhält nur die Rechte, Daten und Werkzeuge, die für die konkrete Aufgabe notwendig sind. Kritische oder irreversible Aktionen werden nicht allein aufgrund einer Modellausgabe ausgeführt.

    Mindestmaßnahmen

    • Getrenntes Benutzerkonto mit minimalen Rechten
    • Lesen und Schreiben getrennt freigeben
    • Bestätigung vor Versand, Löschung, Kauf oder Veröffentlichung
    • Grenzen für Kosten, Laufzeit und Anzahl von Aktionen
    • Vollständige Protokolle und nachvollziehbare Werkzeugaufrufe
    • Sicherer Abbruch und Übergabe an einen Menschen

    Externe Inhalte

    Webseiten, E-Mails und Dokumente können versteckte Anweisungen enthalten. Der Agent darf sie nicht als gleichrangig mit den vom Betreiber festgelegten Regeln behandeln.

    Testen

    Vor produktivem Einsatz mit Testkonten, künstlichen Daten, Angriffsszenarien und absichtlich widersprüchlichen Eingaben prüfen.

    Private Nutzung

    Auch ein privater Assistent sollte nicht uneingeschränkt auf Passwortspeicher, Bankkonten, private Nachrichten und alle Dateien zugleich zugreifen.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • API-Schlüssel, Passwörter und Geschäftsgeheimnisse vor KI-Systemen schützen

    KI-Systeme verarbeiten häufig Inhalte über mehrere Komponenten: Benutzeroberfläche, Modellanbieter, Protokollierung, Erweiterungen und verbundene Werkzeuge. Ein versehentlich eingegebenes Geheimnis kann dadurch an mehr Stellen landen als erwartet.

    Technische Regeln

    • Schlüssel über Secret-Manager und Umgebungsvariablen bereitstellen
    • Protokolle und Fehlerberichte auf sensible Daten prüfen
    • Berechtigungen und Gültigkeitsdauer von Schlüsseln begrenzen
    • Regelmäßig rotieren und bei Verdacht sofort sperren
    • Testdaten statt Produktivdaten verwenden

    Für Prompts

    Nur Platzhalter wie KUNDENNUMMER oder API_KEY verwenden. Das Modell muss den echten Wert für die meisten Erklär-, Schreib- oder Programmieraufgaben nicht kennen.

    Bei einem Vorfall

    • Schlüssel widerrufen oder rotieren
    • Betroffene Protokolle und Dienste identifizieren
    • Zugriffe prüfen
    • Mögliche Datenverletzung nach den geltenden Prozessen bewerten

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • KI-Lieferkette: Modelle, Daten, Erweiterungen und Abhängigkeiten prüfen

    Neben dem Modell selbst gehören Datenquellen, Bibliotheken, Modellgewichte, APIs, Plugins, Browser-Erweiterungen und Hosting zur Sicherheits- und Vertrauenskette. Eine bekannte Benutzeroberfläche sagt wenig darüber aus, welche Komponenten im Hintergrund beteiligt sind.

    Inventar führen

    • Verwendete Modelle und Versionen
    • Anbieter, Hosting und Datenregion
    • Bibliotheken, Container und Erweiterungen
    • Datenquellen und Vektordatenbanken
    • Werkzeuge, APIs und Berechtigungen

    Prüfung vor Einsatz

    • Herkunft und Integrität von Dateien
    • Lizenz und Nutzungsbedingungen
    • Aktualisierungs- und Sicherheitsprozess des Anbieters
    • Bekannte Schwachstellen und Abhängigkeiten
    • Möglichkeiten zum Austausch oder Abschalten einzelner Komponenten

    Änderungen beobachten

    Ein Cloud-Dienst kann Modell, Filter oder Unterauftragnehmer ändern. Kritische Systeme benötigen deshalb Versionskontrolle, Abnahmetests und einen dokumentierten Änderungsprozess.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • KI-Risiken systematisch managen: Govern, Map, Measure, Manage

    Risikomanagement ist kein einmaliger Test vor dem Start. Es begleitet Auswahl, Entwicklung, Betrieb, Änderungen und Außerbetriebnahme eines Systems. Die Maßnahmen müssen zum tatsächlichen Schadenspotenzial passen.

    Govern – Verantwortung festlegen

    • Rollen, Freigaben und Eskalation definieren
    • Richtlinien und Dokumentation pflegen
    • Betroffene Gruppen und Fachkompetenz einbeziehen

    Map – Kontext verstehen

    • Zweck, Nutzer und betroffene Personen beschreiben
    • Abhängigkeiten und Missbrauchsmöglichkeiten erfassen
    • Grenzen und erwartbare Folgen dokumentieren

    Measure – prüfen und messen

    • Qualität, Robustheit, Verzerrungen und Datenschutz testen
    • Ergebnisse mit realistischen Fällen bewerten
    • Unsicherheiten und Testgrenzen offenlegen

    Manage – Risiken behandeln

    • Risiken priorisieren und Maßnahmen umsetzen
    • Menschliche Kontrolle und Ausweichprozesse vorsehen
    • Vorfälle beobachten und Verbesserungen nachverfolgen

    Praxisregel

    Je größer die mögliche Auswirkung auf Menschen, Geld, Gesundheit oder Rechte, desto stärker müssen Nachweise, Kontrollen und unabhängige Prüfungen sein.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Computer Use: KI bedient grafische Oberflächen

    Computersteuernde Agenten können Software bedienen, für die keine geeignete Programmierschnittstelle vorhanden ist. Sie sehen jedoch nur eine Darstellung der Oberfläche und können Schaltflächen, Zustände oder Warnungen falsch interpretieren. Deshalb sind isolierte Umgebungen und Bestätigungen besonders wichtig.

    Einfach erklärt

    Das System erhält regelmäßig ein Bildschirmbild. Es entscheidet, wohin geklickt oder welcher Text eingegeben werden soll. Danach sieht es den neuen Zustand und setzt die Aufgabe fort.

    Geeignete Aufgaben

    • Daten zwischen älteren Programmen übertragen
    • Formulare mit überprüften Angaben ausfüllen
    • Wiederkehrende Klickfolgen in Testumgebungen ausführen
    • Softwaretests aus Sicht eines Benutzers unterstützen

    Warum APIs vorzuziehen sind

    Eine API liefert klar strukturierte Zustände und Befehle. Grafische Oberflächen verändern sich, enthalten Werbung oder uneindeutige Elemente und sind deshalb fehleranfälliger. Computer Use ist meist eine Ausweichlösung.

    Besondere Risiken

    • Prompt Injection durch Inhalte auf Webseiten oder in Dokumenten
    • Klick auf falsche oder täuschend gestaltete Elemente
    • Übertragung vertraulicher Daten in fremde Felder
    • Unbeabsichtigte Käufe, Veröffentlichungen oder Löschungen
    • Schwierige Wiederherstellung nach einer Fehlaktion

    Schutzmaßnahmen

    • Virtuelle oder isolierte Umgebung verwenden
    • Zugriff auf notwendige Websites und Programme begrenzen
    • Zahlungen, Versand und Löschen immer bestätigen lassen
    • Passwörter nicht sichtbar in den Arbeitsbereich legen
    • Screenshots und Aktionen revisionssicher protokollieren

    Primärquellen

  • KI-Benchmarks und Evaluationen

    Benchmarks vergleichen Modelle unter festgelegten Bedingungen. Praktische Evaluationen müssen zusätzlich reale Aufgaben, Daten, Fehlerfolgen, Kosten und menschliche Kontrolle abbilden. Besonders agentische Systeme benötigen mehrstufige Tests in einer realistischen Umgebung.

    Einfach erklärt

    Ein Benchmark ist eine standardisierte Prüfung. Ein gutes Ergebnis dort bedeutet nicht automatisch, dass das Modell in deinem Arbeitsablauf ebenso gut funktioniert.

    Arten von Evaluationen

    • Wissens- und Verständnisfragen
    • Code- und Mathematikaufgaben
    • Faktentreue und Quellenbindung
    • Bild-, Audio- oder Videoverständnis
    • Sicherheitstests und Red Teaming
    • End-to-End-Aufgaben mit Werkzeugen

    Warum Ergebnisse schwanken

    • Prompt und Systemanweisung beeinflussen das Ergebnis
    • Modelle und Dienste werden laufend aktualisiert
    • Bewertungsmodelle können eigene Verzerrungen besitzen
    • Trainingsdaten können Testaufgaben enthalten
    • Zufälligkeit und Werkzeugfehler verändern einzelne Läufe

    Praxisnahe Evaluation

    1. Repräsentative Aufgaben aus dem eigenen Betrieb sammeln
    2. Erwartete Ausgabe und Fehlerklassen definieren
    3. Mehrere Durchläufe und schwierige Randfälle testen
    4. Qualität, Zeit, Kosten und Sicherheitsvorfälle messen
    5. Ergebnisse regelmäßig nach Modellupdates wiederholen

    Agenten testen

    Bei Agenten zählt nicht nur die Endantwort. Auch Werkzeugwahl, Zwischenzustände, Berechtigungen, Abbruchverhalten und die Fähigkeit zur Übergabe an Menschen müssen geprüft werden.

    Primärquellen