KI Panorama

Suche

Branche oder Lebensbereich: Softwareentwicklung

  • General-Purpose AI: Pflichten für Basismodelle

    General-Purpose-AI-Modelle können viele unterschiedliche Aufgaben unterstützen und bilden oft die technische Grundlage anderer Produkte. Der AI Act richtet deshalb eigene Pflichten an ihre Anbieter. Modelle mit systemischem Risiko unterliegen zusätzlichen Anforderungen zur Bewertung und Minderung von Risiken.

    Grundpflichten

    • Technische Dokumentation für nachgelagerte Anbieter
    • Informationen über Fähigkeiten und Grenzen
    • Vorgaben zum Umgang mit EU-Urheberrecht
    • Öffentliche Zusammenfassung der Trainingsinhalte nach dem vorgesehenen Muster

    Zusätzliche Pflichten bei systemischem Risiko

    • Modellbewertungen und adversariale Tests
    • Bewertung und Minderung systemischer Risiken
    • Meldung schwerwiegender Vorfälle
    • Angemessene Cybersicherheit

    Code of Practice

    Der GPAI Code of Practice ist ein freiwilliges Instrument, mit dem Anbieter die Einhaltung der gesetzlichen Pflichten zu Transparenz, Urheberrecht sowie Sicherheit und Schutz nachweisen können.

    Für normale Anwender

    Die meisten Endnutzer sind keine Anbieter eines Basismodells. Relevant bleibt aber, welche Dokumentation, Lizenz und Sicherheitsinformationen der jeweilige Anbieter bereitstellt.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Prompt Injection: Wenn fremde Inhalte die KI steuern

    Sprachmodelle trennen Befehle und Daten nicht zuverlässig wie klassische Programme. Ein Agent kann deshalb eine bösartige Anweisung aus einem Dokument übernehmen und anschließend Daten preisgeben oder ein Werkzeug falsch verwenden.

    Direkte und indirekte Injection

    Direkte Angriffe stehen in der Nutzereingabe. Indirekte Angriffe liegen in externen Inhalten wie Webseiten, E-Mails, PDFs, Bildern oder Datenbankeinträgen, die das System verarbeitet.

    Mögliche Folgen

    • Umgehung interner Regeln
    • Offenlegung vertraulicher Informationen
    • Manipulation einer Zusammenfassung oder Entscheidung
    • Missbrauch verbundener Werkzeuge
    • Versteckte Weiterleitung zu schädlichen Inhalten

    Schutzmaßnahmen

    • Externe Inhalte grundsätzlich als nicht vertrauenswürdige Daten behandeln
    • Werkzeugrechte minimieren
    • Kritische Aktionen separat bestätigen
    • Ausgaben und Parameter technisch validieren
    • Geheimnisse nicht in den Modellkontext geben
    • Protokollierung und Tests mit Angriffsmustern

    Keine vollständige Textfilter-Lösung

    Prompt Injection lässt sich nicht allein durch eine Liste verbotener Wörter zuverlässig verhindern. Die Systemarchitektur muss mögliche Fehlentscheidungen begrenzen.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • KI-Agenten sicher einsetzen: Rechte, Freigaben und Protokolle

    Die wichtigste Sicherheitsregel lautet: Ein Agent erhält nur die Rechte, Daten und Werkzeuge, die für die konkrete Aufgabe notwendig sind. Kritische oder irreversible Aktionen werden nicht allein aufgrund einer Modellausgabe ausgeführt.

    Mindestmaßnahmen

    • Getrenntes Benutzerkonto mit minimalen Rechten
    • Lesen und Schreiben getrennt freigeben
    • Bestätigung vor Versand, Löschung, Kauf oder Veröffentlichung
    • Grenzen für Kosten, Laufzeit und Anzahl von Aktionen
    • Vollständige Protokolle und nachvollziehbare Werkzeugaufrufe
    • Sicherer Abbruch und Übergabe an einen Menschen

    Externe Inhalte

    Webseiten, E-Mails und Dokumente können versteckte Anweisungen enthalten. Der Agent darf sie nicht als gleichrangig mit den vom Betreiber festgelegten Regeln behandeln.

    Testen

    Vor produktivem Einsatz mit Testkonten, künstlichen Daten, Angriffsszenarien und absichtlich widersprüchlichen Eingaben prüfen.

    Private Nutzung

    Auch ein privater Assistent sollte nicht uneingeschränkt auf Passwortspeicher, Bankkonten, private Nachrichten und alle Dateien zugleich zugreifen.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • API-Schlüssel, Passwörter und Geschäftsgeheimnisse vor KI-Systemen schützen

    KI-Systeme verarbeiten häufig Inhalte über mehrere Komponenten: Benutzeroberfläche, Modellanbieter, Protokollierung, Erweiterungen und verbundene Werkzeuge. Ein versehentlich eingegebenes Geheimnis kann dadurch an mehr Stellen landen als erwartet.

    Technische Regeln

    • Schlüssel über Secret-Manager und Umgebungsvariablen bereitstellen
    • Protokolle und Fehlerberichte auf sensible Daten prüfen
    • Berechtigungen und Gültigkeitsdauer von Schlüsseln begrenzen
    • Regelmäßig rotieren und bei Verdacht sofort sperren
    • Testdaten statt Produktivdaten verwenden

    Für Prompts

    Nur Platzhalter wie KUNDENNUMMER oder API_KEY verwenden. Das Modell muss den echten Wert für die meisten Erklär-, Schreib- oder Programmieraufgaben nicht kennen.

    Bei einem Vorfall

    • Schlüssel widerrufen oder rotieren
    • Betroffene Protokolle und Dienste identifizieren
    • Zugriffe prüfen
    • Mögliche Datenverletzung nach den geltenden Prozessen bewerten

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • KI-Lieferkette: Modelle, Daten, Erweiterungen und Abhängigkeiten prüfen

    Neben dem Modell selbst gehören Datenquellen, Bibliotheken, Modellgewichte, APIs, Plugins, Browser-Erweiterungen und Hosting zur Sicherheits- und Vertrauenskette. Eine bekannte Benutzeroberfläche sagt wenig darüber aus, welche Komponenten im Hintergrund beteiligt sind.

    Inventar führen

    • Verwendete Modelle und Versionen
    • Anbieter, Hosting und Datenregion
    • Bibliotheken, Container und Erweiterungen
    • Datenquellen und Vektordatenbanken
    • Werkzeuge, APIs und Berechtigungen

    Prüfung vor Einsatz

    • Herkunft und Integrität von Dateien
    • Lizenz und Nutzungsbedingungen
    • Aktualisierungs- und Sicherheitsprozess des Anbieters
    • Bekannte Schwachstellen und Abhängigkeiten
    • Möglichkeiten zum Austausch oder Abschalten einzelner Komponenten

    Änderungen beobachten

    Ein Cloud-Dienst kann Modell, Filter oder Unterauftragnehmer ändern. Kritische Systeme benötigen deshalb Versionskontrolle, Abnahmetests und einen dokumentierten Änderungsprozess.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Mixture-of-Experts-Modelle (MoE)

    Ein Mixture-of-Experts-Modell enthält mehrere sogenannte Experten. Ein Router entscheidet für jedes Token, welche Experten berechnet werden. Dadurch kann ein Modell sehr viele Parameter besitzen, ohne bei jeder Eingabe alle Parameter zu verwenden.

    Einfach erklärt

    Statt jede Frage an die gesamte Mannschaft zu geben, verteilt ein Router einzelne Aufgaben an wenige passende Spezialisten.

    Technische Grundidee

    • Mehrere Feed-Forward-Netze dienen als Experten
    • Ein Routing-Netz berechnet Auswahlgewichte
    • Nur die ausgewählten Experten verarbeiten das jeweilige Token
    • Die Ergebnisse werden gewichtet zusammengeführt

    Vorteile

    • Hohe Modellkapazität bei begrenztem Rechenaufwand pro Token
    • Spezialisierung verschiedener Experten kann entstehen
    • Skalierung auf sehr große Parameterzahlen

    Herausforderungen

    • Ungleichmäßige Auslastung einzelner Experten
    • Hoher Kommunikationsaufwand über mehrere Beschleuniger
    • Komplexere Bereitstellung und Optimierung
    • Gesamtparameterzahl ist nicht direkt mit aktiv genutzten Parametern vergleichbar

    Einordnung

    MoE ist eine Architekturentscheidung und kein Beleg für bessere Qualität. Vergleichbar sind Modelle nur über konkrete Aufgaben, aktive Rechenkosten, Speicherbedarf und unabhängige Evaluationen.

    Primärquellen

  • AlphaEvolve: Algorithmen durch evolutionäre Codesuche

    AlphaEvolve sucht nach Programmen, die ein klar messbares Ziel verbessern. Kandidaten werden automatisch ausgeführt und bewertet; erfolgreiche Varianten dienen als Ausgangspunkt für weitere Vorschläge. Ergebnisse sind besonders belastbar, wenn die Bewertungsfunktion die Aufgabe vollständig abbildet.

    Forschungsfrage

    Können Sprachmodelle nicht nur Code schreiben, sondern durch wiederholte, automatisch bewertete Variation neue und effizientere Algorithmen entdecken?

    Ansatz

    • Mehrere Sprachmodelle schlagen Programmvarianten vor
    • Automatische Evaluatoren messen Korrektheit oder Leistung
    • Eine evolutionäre Datenbank wählt vielversprechende Kandidaten
    • Neue Generationen verändern und kombinieren erfolgreiche Programme

    Berichtete Anwendungen

    • Optimierung von Rechenzentrums- und Planungsalgorithmen
    • Beiträge zu Chipdesign und KI-Training
    • Neue Varianten für Matrixmultiplikation
    • Suche nach Lösungen mathematischer Probleme

    Warum das überprüfbarer ist

    Die Ausgabe besteht aus ausführbarem Code. Dieser kann mit Tests, Benchmarks oder mathematischen Prüfungen bewertet werden. Das reduziert, aber beseitigt nicht die Gefahr einer unvollständigen Bewertungsfunktion.

    Grenzen

    • Die Aufgabe benötigt eine verlässliche maschinelle Bewertungsfunktion
    • Optimierung kann unbeabsichtigte Lücken im Messverfahren ausnutzen
    • Entdeckter Code muss von Fachleuten verstanden, getestet und abgesichert werden

    Status

    Aktives Forschungssystem; konkrete Zugänglichkeit und Einsatzbereiche sind begrenzt und können sich ändern.

    Primärquellen

  • FunSearch: Programme als mathematische Entdeckungen

    FunSearch erzeugt Programme, deren Qualität objektiv berechnet werden kann. Auf diese Weise wurden neue Konstruktionen für das Cap-Set-Problem und Heuristiken für Online-Bin-Packing gefunden. Die Methode funktioniert nur bei Problemen, die sinnvoll als Programm und Bewertung formuliert werden können.

    Forschungsfrage

    Kann ein Sprachmodell durch automatische Prüfung zu neuen, menschlich interpretierbaren Lösungen in Mathematik und Informatik beitragen?

    Ansatz

    • Ein Ausgangsprogramm und eine Bewertungsfunktion definieren das Problem
    • Das Sprachmodell verändert ausgewählte Programme
    • Jede Variante wird ausgeführt und bewertet
    • Gute und unterschiedliche Lösungen fließen in neue Generationen ein

    Veröffentlichte Ergebnisse

    • Neue große Cap Sets in bestimmten Dimensionen
    • Verbesserte Heuristiken für das Online-Bin-Packing
    • Ausgabe als kompakte Programme, die von Forschenden analysiert werden können

    Bedeutung

    Die Kombination aus generativer Suche und strenger automatischer Bewertung zeigt einen Weg, wie Sprachmodelle über bloße Textvorschläge hinaus zu überprüfbaren Resultaten beitragen können.

    Grenzen

    • Nicht jedes Forschungsproblem besitzt eine vollständige Bewertungsfunktion
    • Eine hohe Punktzahl kann Nebenbedingungen übersehen
    • Mathematische Interpretation und formale Prüfung bleiben erforderlich

    Primärquellen

  • Model Context Protocol (MCP)

    Das Model Context Protocol beschreibt eine gemeinsame Schnittstelle, über die KI-Clients externe Server mit Werkzeugen, Ressourcen und Vorlagen ansprechen können. Es reduziert individuelle Integrationen, ersetzt aber weder Berechtigungen noch Sicherheitsprüfungen.

    Einfach erklärt

    MCP ähnelt einem einheitlichen Anschluss: Eine KI-Anwendung kann kompatible Datenquellen und Werkzeuge anbinden, ohne für jede Kombination eine vollständig neue Schnittstelle zu entwickeln.

    Bausteine

    • Host: die KI-Anwendung, in der der Nutzer arbeitet
    • Client: verwaltet die Verbindung zu einem MCP-Server
    • Server: stellt Werkzeuge, Ressourcen oder Prompts bereit
    • Transport: überträgt strukturierte Nachrichten zwischen den Komponenten

    Mögliche Anwendungen

    • Dokumentensuche in internen Beständen
    • Zugriff auf Entwicklungswerkzeuge
    • Verbindung zu Datenbanken und Geschäftssystemen
    • Standardisierte Bereitstellung eigener Werkzeuge

    Sicherheitsgrenzen

    • Ein MCP-Server erhält nur ausdrücklich konfigurierte Rechte
    • Werkzeugbeschreibungen und Ergebnisse können manipuliert sein
    • Lokale Server sind nicht automatisch vertrauenswürdig
    • Geheimnisse und Zugangsdaten gehören in sichere Konfigurationen
    • Schreibende Aktionen benötigen klare Bestätigung und Protokollierung

    Einordnung

    MCP löst primär das Integrationsproblem. Ob ein angeschlossenes Werkzeug fachlich korrekt, datenschutzkonform und sicher ist, muss separat beurteilt werden.

    Primärquellen

  • Computer Use: KI bedient grafische Oberflächen

    Computersteuernde Agenten können Software bedienen, für die keine geeignete Programmierschnittstelle vorhanden ist. Sie sehen jedoch nur eine Darstellung der Oberfläche und können Schaltflächen, Zustände oder Warnungen falsch interpretieren. Deshalb sind isolierte Umgebungen und Bestätigungen besonders wichtig.

    Einfach erklärt

    Das System erhält regelmäßig ein Bildschirmbild. Es entscheidet, wohin geklickt oder welcher Text eingegeben werden soll. Danach sieht es den neuen Zustand und setzt die Aufgabe fort.

    Geeignete Aufgaben

    • Daten zwischen älteren Programmen übertragen
    • Formulare mit überprüften Angaben ausfüllen
    • Wiederkehrende Klickfolgen in Testumgebungen ausführen
    • Softwaretests aus Sicht eines Benutzers unterstützen

    Warum APIs vorzuziehen sind

    Eine API liefert klar strukturierte Zustände und Befehle. Grafische Oberflächen verändern sich, enthalten Werbung oder uneindeutige Elemente und sind deshalb fehleranfälliger. Computer Use ist meist eine Ausweichlösung.

    Besondere Risiken

    • Prompt Injection durch Inhalte auf Webseiten oder in Dokumenten
    • Klick auf falsche oder täuschend gestaltete Elemente
    • Übertragung vertraulicher Daten in fremde Felder
    • Unbeabsichtigte Käufe, Veröffentlichungen oder Löschungen
    • Schwierige Wiederherstellung nach einer Fehlaktion

    Schutzmaßnahmen

    • Virtuelle oder isolierte Umgebung verwenden
    • Zugriff auf notwendige Websites und Programme begrenzen
    • Zahlungen, Versand und Löschen immer bestätigen lassen
    • Passwörter nicht sichtbar in den Arbeitsbereich legen
    • Screenshots und Aktionen revisionssicher protokollieren

    Primärquellen