Bei lokaler KI laufen Modell und Daten auf dem eigenen Gerät oder einer selbst kontrollierten Infrastruktur. Quantisierung reduziert Speicherbedarf und Rechenaufwand, kann aber Qualität oder Geschwindigkeit je nach Modell, Hardware und Verfahren unterschiedlich beeinflussen.
Einfach erklärt
Ein großes Modell speichert sehr viele Zahlen. Werden diese Zahlen mit weniger Stellen gespeichert, benötigt das Modell weniger Speicher. Das ähnelt einer komprimierten Darstellung, bei der möglichst wenig nutzbare Genauigkeit verloren gehen soll.
Vorteile lokaler Ausführung
- Daten müssen nicht zwangsläufig an einen externen Dienst übertragen werden
- Feste Kosten statt nutzungsabhängiger API-Gebühren können möglich sein
- Offline-Betrieb und geringe Netzwerklatenz
- Eigene Kontrolle über Version und Konfiguration
Typische Präzisionen
- FP32: hohe Genauigkeit, hoher Speicherbedarf
- FP16 oder BF16: verbreitet für moderne Beschleuniger
- INT8: deutlich kleiner, häufig mit geringer Qualitätseinbuße
- INT4 und darunter: starke Kompression mit höherem Abstimmungsbedarf
Grenzen
- Lokale Verarbeitung ist nicht automatisch datenschutzkonform
- Hardware, Stromverbrauch und Wartung bleiben erforderlich
- Sehr große Modelle passen auch quantisiert nicht auf jedes Gerät
- Manche Aufgaben verlieren durch starke Quantisierung messbar an Qualität
Auswahlkriterien
- Aufgabe und benötigte Modellqualität
- Verfügbarer RAM oder Grafikspeicher
- Unterstützung der konkreten CPU, GPU oder NPU
- Lizenz und erlaubte Nutzung
- Update- und Sicherheitskonzept