KI Panorama

Suche

Thema: Modelle

  • General-Purpose AI: Pflichten für Basismodelle

    General-Purpose-AI-Modelle können viele unterschiedliche Aufgaben unterstützen und bilden oft die technische Grundlage anderer Produkte. Der AI Act richtet deshalb eigene Pflichten an ihre Anbieter. Modelle mit systemischem Risiko unterliegen zusätzlichen Anforderungen zur Bewertung und Minderung von Risiken.

    Grundpflichten

    • Technische Dokumentation für nachgelagerte Anbieter
    • Informationen über Fähigkeiten und Grenzen
    • Vorgaben zum Umgang mit EU-Urheberrecht
    • Öffentliche Zusammenfassung der Trainingsinhalte nach dem vorgesehenen Muster

    Zusätzliche Pflichten bei systemischem Risiko

    • Modellbewertungen und adversariale Tests
    • Bewertung und Minderung systemischer Risiken
    • Meldung schwerwiegender Vorfälle
    • Angemessene Cybersicherheit

    Code of Practice

    Der GPAI Code of Practice ist ein freiwilliges Instrument, mit dem Anbieter die Einhaltung der gesetzlichen Pflichten zu Transparenz, Urheberrecht sowie Sicherheit und Schutz nachweisen können.

    Für normale Anwender

    Die meisten Endnutzer sind keine Anbieter eines Basismodells. Relevant bleibt aber, welche Dokumentation, Lizenz und Sicherheitsinformationen der jeweilige Anbieter bereitstellt.

    Quellen und Rechtsstand

    Prüfstand: 28.07.2026. Rechtliche Beiträge dienen der allgemeinen Information und ersetzen keine Rechtsberatung.

  • Lokale KI und Quantisierung

    Bei lokaler KI laufen Modell und Daten auf dem eigenen Gerät oder einer selbst kontrollierten Infrastruktur. Quantisierung reduziert Speicherbedarf und Rechenaufwand, kann aber Qualität oder Geschwindigkeit je nach Modell, Hardware und Verfahren unterschiedlich beeinflussen.

    Einfach erklärt

    Ein großes Modell speichert sehr viele Zahlen. Werden diese Zahlen mit weniger Stellen gespeichert, benötigt das Modell weniger Speicher. Das ähnelt einer komprimierten Darstellung, bei der möglichst wenig nutzbare Genauigkeit verloren gehen soll.

    Vorteile lokaler Ausführung

    • Daten müssen nicht zwangsläufig an einen externen Dienst übertragen werden
    • Feste Kosten statt nutzungsabhängiger API-Gebühren können möglich sein
    • Offline-Betrieb und geringe Netzwerklatenz
    • Eigene Kontrolle über Version und Konfiguration

    Typische Präzisionen

    • FP32: hohe Genauigkeit, hoher Speicherbedarf
    • FP16 oder BF16: verbreitet für moderne Beschleuniger
    • INT8: deutlich kleiner, häufig mit geringer Qualitätseinbuße
    • INT4 und darunter: starke Kompression mit höherem Abstimmungsbedarf

    Grenzen

    • Lokale Verarbeitung ist nicht automatisch datenschutzkonform
    • Hardware, Stromverbrauch und Wartung bleiben erforderlich
    • Sehr große Modelle passen auch quantisiert nicht auf jedes Gerät
    • Manche Aufgaben verlieren durch starke Quantisierung messbar an Qualität

    Auswahlkriterien

    • Aufgabe und benötigte Modellqualität
    • Verfügbarer RAM oder Grafikspeicher
    • Unterstützung der konkreten CPU, GPU oder NPU
    • Lizenz und erlaubte Nutzung
    • Update- und Sicherheitskonzept

    Primärquellen

  • Mixture-of-Experts-Modelle (MoE)

    Ein Mixture-of-Experts-Modell enthält mehrere sogenannte Experten. Ein Router entscheidet für jedes Token, welche Experten berechnet werden. Dadurch kann ein Modell sehr viele Parameter besitzen, ohne bei jeder Eingabe alle Parameter zu verwenden.

    Einfach erklärt

    Statt jede Frage an die gesamte Mannschaft zu geben, verteilt ein Router einzelne Aufgaben an wenige passende Spezialisten.

    Technische Grundidee

    • Mehrere Feed-Forward-Netze dienen als Experten
    • Ein Routing-Netz berechnet Auswahlgewichte
    • Nur die ausgewählten Experten verarbeiten das jeweilige Token
    • Die Ergebnisse werden gewichtet zusammengeführt

    Vorteile

    • Hohe Modellkapazität bei begrenztem Rechenaufwand pro Token
    • Spezialisierung verschiedener Experten kann entstehen
    • Skalierung auf sehr große Parameterzahlen

    Herausforderungen

    • Ungleichmäßige Auslastung einzelner Experten
    • Hoher Kommunikationsaufwand über mehrere Beschleuniger
    • Komplexere Bereitstellung und Optimierung
    • Gesamtparameterzahl ist nicht direkt mit aktiv genutzten Parametern vergleichbar

    Einordnung

    MoE ist eine Architekturentscheidung und kein Beleg für bessere Qualität. Vergleichbar sind Modelle nur über konkrete Aufgaben, aktive Rechenkosten, Speicherbedarf und unabhängige Evaluationen.

    Primärquellen