KI Panorama

Wissensstufe: Expertenwissen

  • GPT-Modellfamilie

    Die GPT-Modellfamilie umfasst generative Modelle von OpenAI für Text, visuelle Eingaben, Programmierung, Reasoning und Werkzeugnutzung. Der konkrete Modellkatalog wird laufend aktualisiert; für technische Entscheidungen ist deshalb die offizielle Modellübersicht maßgeblich.

    Modelltyp und Fähigkeiten

    • Transformer-basierte generative Modelle für Text und weitere Modalitäten.
    • Unterstützung für mehrsprachige Aufgaben, visuelle Eingaben, Code und strukturierte Ausgaben – modellabhängig.
    • Werkzeugaufrufe, agentische Abläufe und unterschiedliche Reasoning-Stufen in aktuellen Modelllinien.

    Technische Einordnung

    GPT-Modelle erzeugen Ausgaben tokenweise auf Grundlage gelernter Wahrscheinlichkeitsverteilungen. Moderne Varianten kombinieren Vortraining, Nachtraining, Sicherheitsverfahren, Werkzeugnutzung und zusätzliche Laufzeitberechnung für komplexe Aufgaben.

    Verfügbarkeit und Zugang

    Der Zugang erfolgt über ChatGPT sowie über OpenAIs API. Modellnamen, Kontextgrößen, Preise und Endpunkte verändern sich; produktive Systeme sollten auf die offizielle Modellliste und Migrationshinweise abgestimmt werden.

    Benchmarks und Grenzen

    Benchmarks zeigen nur Ausschnitte der Leistung. Modelle können halluzinieren, bei ungewöhnlichen Verteilungen versagen und in agentischen Abläufen falsche Aktionen planen. Evaluationen müssen den realen Einsatzzweck, Kosten, Latenz und Sicherheitsanforderungen abbilden.

    Offizielle Quellen

  • Claude-Modellfamilie

    Die Claude-Modellfamilie von Anthropic umfasst Modelle mit unterschiedlichen Profilen für komplexes Reasoning, schnelle Aufgaben, Programmierung und agentische Abläufe. Konkrete Modellvarianten und Grenzwerte werden in der offiziellen Dokumentation gepflegt.

    Modelltyp und Fähigkeiten

    • Große Sprachmodelle für Text, Bilder, Code und Dokumentanalyse.
    • Unterschiedliche Modellklassen für maximale Leistungsfähigkeit, ausgewogene Nutzung und schnelle kosteneffiziente Aufgaben.
    • Werkzeugnutzung, strukturierte Ausgaben und agentische Arbeitsabläufe.

    Technische Einordnung

    Claude-Modelle sind generative Transformer-Systeme. Anthropic kombiniert Vortraining und Nachtraining mit Verfahren zur Steuerbarkeit und Sicherheit. Die Produktfamilie wird regelmäßig durch neue Modellgenerationen ersetzt oder ergänzt.

    Verfügbarkeit und Zugang

    Claude ist über Anthrophics API, die Claude-Anwendungen und ausgewählte Cloud-Plattformen verfügbar. Für stabile Integrationen sind konkrete Modell-IDs und Abschaltfristen zu beachten.

    Benchmarks und Grenzen

    Leistungsangaben sind abhängig von Aufgaben, Prompt, Werkzeugen und Evaluationsmethode. Auch leistungsfähige Varianten können Quellen erfinden, fehlerhafte Schlüsse ziehen oder Werkzeugaktionen falsch ausführen.

    Offizielle Quellen

  • Gemini-Modellfamilie

    Gemini bezeichnet Googles Familie multimodaler Modelle. Verschiedene Varianten sind auf hohe Leistungsfähigkeit, Geschwindigkeit, geringe Kosten, Echtzeit-Audio oder spezielle Aufgaben ausgerichtet.

    Modelltyp und Fähigkeiten

    • Multimodale Verarbeitung von Text, Bildern, Audio, Video und Code – abhängig vom Modell.
    • Unterschiedliche Pro-, Flash- und spezialisierte Varianten.
    • Werkzeugnutzung, lange Kontexte und Echtzeitanwendungen in ausgewählten Modellen.

    Technische Einordnung

    Gemini-Modelle werden als multimodale Foundation Models entwickelt. Die Modellfamilie umfasst verschiedene Größen und Laufzeitprofile; experimentelle Endpunkte können sich schneller ändern als stabile Varianten.

    Verfügbarkeit und Zugang

    Zugang besteht über die Gemini-Anwendungen, Google AI Studio, die Gemini API und Google-Cloud-Angebote. Für produktive Systeme sollten stabile Modellkennungen und offizielle Lebenszyklusangaben verwendet werden.

    Benchmarks und Grenzen

    Vergleiche zwischen Modellvarianten sind nur bei identischen Aufgaben und Einstellungen aussagekräftig. Multimodalität beseitigt weder Halluzinationen noch Fehler bei Bildern, langen Kontexten oder Werkzeugaktionen.

    Offizielle Quellen

  • Llama-Modellfamilie

    Llama ist eine von Meta entwickelte Modellfamilie mit veröffentlichten Gewichten. Sie wird für lokale, cloudbasierte und angepasste Anwendungen eingesetzt und umfasst Sprach- sowie multimodale Varianten.

    Modelltyp und Fähigkeiten

    • Generative Sprachmodelle für Text, Code, Reasoning und Werkzeugnutzung.
    • Multimodale Varianten für Text- und Bildverarbeitung.
    • Unterschiedliche Größen für Server, einzelne Beschleuniger und ressourcenärmere Umgebungen.

    Technische Einordnung

    Llama-Modelle sind Transformer-basierte Foundation Models. Open Weight bedeutet, dass Modellgewichte unter den jeweiligen Lizenzbedingungen heruntergeladen werden können; es bedeutet nicht automatisch uneingeschränktes Open Source.

    Verfügbarkeit und Zugang

    Modelle werden über Meta, Partnerplattformen und Modell-Repositories bereitgestellt. Lizenz, Hardwarebedarf, Quantisierung und Sicherheitskonfiguration müssen für den jeweiligen Einsatz geprüft werden.

    Benchmarks und Grenzen

    Lokale Kontrolle ist ein Vorteil, verlagert aber Verantwortung für Betrieb, Schutzmaßnahmen und Updates auf den Betreiber. Kleinere oder stark quantisierte Varianten können deutlich an Genauigkeit verlieren.

    Offizielle Quellen

  • Mistral-Modellfamilie

    Die Mistral-Modellfamilie umfasst Open-Weight- und kommerzielle Modelle mit unterschiedlichen Größen und Spezialisierungen. Sie kann über APIs, Cloud-Dienste oder teilweise selbst betrieben werden.

    Modelltyp und Fähigkeiten

    • Sprachmodelle für Text, Reasoning, Code und Werkzeugnutzung.
    • Spezialisierte Modelle und Dienste für Dokumentverarbeitung, OCR und Embeddings.
    • Unterschiedliche offene und kommerzielle Bereitstellungsformen.

    Technische Einordnung

    Mistral entwickelt Transformer-basierte Modelle mit verschiedenen Leistungs-, Größen- und Lizenzprofilen. Der Modellkatalog wird fortlaufend aktualisiert und enthält allgemeine sowie spezialisierte Endpunkte.

    Verfügbarkeit und Zugang

    Zugang erfolgt über Mistrals API und Plattform, Cloud-Partner oder bei ausgewählten Open-Weight-Modellen durch eigenen Betrieb. Lizenz und Modellkarte sind pro Variante zu prüfen.

    Benchmarks und Grenzen

    Modellgröße allein bestimmt nicht die Eignung. Sprachabdeckung, Kontext, Werkzeugunterstützung, Hardwarebedarf und reale Evaluationen sind entscheidend. Auch selbst betriebene Modelle benötigen Schutzmaßnahmen gegen Datenabfluss und missbräuchliche Eingaben.

    Offizielle Quellen

  • FLUX-Modellfamilie

    FLUX bezeichnet eine Familie generativer und visueller Modelle von Black Forest Labs. Sie wird für Text-zu-Bild, kontrollierte Bildbearbeitung und – in neueren Entwicklungsstufen – multimodale visuelle Systeme eingesetzt.

    Modelltyp und Fähigkeiten

    • Bilder aus Textbeschreibungen erzeugen.
    • Bilder mit Referenzen, Strukturvorgaben und speziellen Werkzeugen kontrolliert verändern.
    • Varianten für hohe Qualität, Entwicklung, schnelle Generierung und API-Nutzung.

    Technische Einordnung

    FLUX-Modelle basieren auf generativen Flow- beziehungsweise Diffusionsansätzen für visuelle Daten. Die Familie umfasst kommerzielle API-Varianten und teilweise offen zugängliche Gewichte mit unterschiedlichen Lizenzen.

    Verfügbarkeit und Zugang

    Zugang besteht über die BFL API, Partnerdienste und je nach Modell über veröffentlichte Gewichte. Neu angekündigte Generationen können zunächst als Early Access oder eingeschränkte Vorschau verfügbar sein.

    Benchmarks und Grenzen

    Bildqualität hängt stark von Prompt, Seitenverhältnis, Referenzen und Nachbearbeitung ab. Textdarstellung, räumliche Logik, Hände, wiederkehrende Identitäten und Rechtefragen bleiben relevante Prüfpunkte.

    Offizielle Quellen

  • Whisper

    Whisper ist ein von OpenAI veröffentlichtes Modell für automatische Spracherkennung. Es kann Sprache transkribieren, Sprachen erkennen und gesprochene Inhalte aus mehreren Sprachen ins Englische übersetzen.

    Modelltyp und Fähigkeiten

    • Mehrsprachige automatische Spracherkennung.
    • Transkription von Audio in Text.
    • Spracherkennung und Übersetzung gesprochener Inhalte ins Englische.
    • Robustheit gegenüber unterschiedlichen Sprechern, Akzenten und Hintergrundgeräuschen – ohne Fehlerfreiheit.

    Technische Einordnung

    Whisper wurde auf einem großen, vielfältigen Datensatz mit mehrsprachigen und multitaskbezogenen Audiodaten trainiert. Es ist ein Encoder-Decoder-Transformer für Sequenz-zu-Sequenz-Aufgaben.

    Verfügbarkeit und Zugang

    OpenAI veröffentlichte Modellcode und Gewichte; zusätzlich ist whisper-1 über die Audio API verfügbar. Neuere Transkriptionsmodelle können bei einzelnen Aufgaben bessere Qualität oder Zusatzfunktionen bieten.

    Benchmarks und Grenzen

    Genauigkeit hängt von Sprache, Aufnahmequalität, Fachbegriffen, Sprecherwechseln und Geräuschen ab. Stille oder schwer verständliche Passagen können falsche Wörter erzeugen. Für rechtlich oder medizinisch relevante Transkripte ist eine Kontrolle erforderlich.

    Offizielle Quellen

  • Veo 3.1

    Veo 3.1 ist ein Videogenerierungsmodell von Google DeepMind. Es erzeugt Videos aus Text oder Bildern und kann Bild, Umgebungsgeräusche, Effekte und Dialog gemeinsam generieren.

    Modelltyp und Fähigkeiten

    • Text-zu-Video und Bild-zu-Video.
    • Native Erzeugung von Ton, Geräuschen und Dialog zusammen mit dem Video.
    • Steuerung von Stil, Kameraführung, Bewegung und visueller Kontinuität.
    • Kennzeichnung generierter Inhalte mit Googles SynthID-Technologie.

    Technische Einordnung

    Veo gehört zu generativen Videomodellen, die räumliche und zeitliche Bildfolgen modellieren. Die Audio-Video-Generierung erweitert die Aufgabe um zeitlich passende akustische Signale.

    Verfügbarkeit und Zugang

    Veo ist über ausgewählte Google-Produkte und Entwicklerzugänge verfügbar. Zugang, Auflösung, Länge, Limits und regionale Verfügbarkeit hängen vom Produkt und Tarif ab.

    Benchmarks und Grenzen

    Herstellervergleiche und Präferenztests bilden nicht alle realen Produktionsbedingungen ab. Physik, Text im Bild, längere Handlungslogik, wiederkehrende Personen und präzise Schnittkontrolle können weiterhin Fehler zeigen.

    Offizielle Quellen

  • Diffusionsmodelle

    Ein Diffusionsmodell kann aus Rauschen schrittweise ein strukturiertes Bild oder andere Daten erzeugen. Es hat im Training gelernt, wie verrauschte Beispiele wieder in plausible Daten zurückgeführt werden.

    Einfach erklärt

    Im Training wird ein Bild zunehmend verrauscht. Das Modell lernt für viele Rauschstufen, wie es einen kleinen Teil dieses Rauschens wieder entfernen kann.

    Bei der Erzeugung beginnt das System mit Rauschen und wiederholt den gelernten Entrauschungsschritt. Eine Texteingabe kann den Prozess in Richtung eines gewünschten Motivs steuern.

    Anschauliches Beispiel

    Aus einer zufälligen Pixelwolke entstehen zuerst grobe Flächen, dann Formen, Objekte und Details. Der Prozess ist nicht mit dem Freilegen eines versteckten fertigen Bildes gleichzusetzen; das Bild wird während der Berechnung erzeugt.

    Fortgeschrittene Erklärung

    Denoising Diffusion Probabilistic Models definieren einen Vorwärtsprozess, der Daten schrittweise in Rauschen überführt, und einen gelernten Rückwärtsprozess. In praktischen Bildsystemen findet die Diffusion häufig in einem komprimierten latenten Raum statt.

    Konditionierung kann über Text-Embeddings, Bilder, Kanten, Tiefenkarten oder andere Steuersignale erfolgen. Dadurch sind Text-zu-Bild, Bildvariation, Inpainting und strukturell kontrollierte Erzeugung möglich.

    Expertenwissen

    Der Rückwärtsprozess approximiert bedingte Übergangsverteilungen beziehungsweise eine Score-Funktion. Die Trainingsziele können auf Rauschvorhersage, Datenvorhersage oder andere Parametrisierungen ausgerichtet sein.

    Sampling-Verfahren beeinflussen Geschwindigkeit, Qualität und Reproduzierbarkeit. Weniger Schritte beschleunigen die Erzeugung, können aber Detailtreue und Stabilität verändern.

    Möglichkeiten und Grenzen

    • Hochwertige Erzeugung und Bearbeitung von Bildern sowie zunehmend weiterer Modalitäten.
    • Gezielte Steuerung über Text und zusätzliche Kontrollsignale.
    • Details, Textdarstellung und räumliche Konsistenz können fehlerhaft sein.
    • Trainingsdaten, Urheberrecht, Identitätsmissbrauch und Deepfakes erfordern klare Regeln.

    Quellen

  • Multimodale KI

    Ein multimodales KI-System kann mehrere Medienarten miteinander verknüpfen. Es kann beispielsweise ein Bild analysieren, eine Frage dazu verstehen und eine gesprochene Antwort erzeugen.

    Einfach erklärt

    Menschen nehmen die Welt nicht nur als Text wahr. Multimodale Systeme verbinden verschiedene Formen von Information – zum Beispiel Wörter, Bilder, Töne, Videos oder Sensordaten.

    Dadurch kann ein System Inhalte zwischen Modalitäten übersetzen: ein Bild beschreiben, Sprache transkribieren, aus Text ein Bild erzeugen oder Video und Ton gemeinsam auswerten.

    Anschauliches Beispiel

    Ein Nutzer fotografiert eine defekte Maschine und stellt dazu eine gesprochene Frage. Ein multimodales System kann Bild und Sprache gemeinsam verarbeiten und eine textliche oder gesprochene Hilfestellung erzeugen. Für eine verlässliche Diagnose wären jedoch technische Dokumente und fachliche Prüfung nötig.

    Fortgeschrittene Erklärung

    Multimodale Modelle verwenden Encoder und Decoder für unterschiedliche Datentypen oder eine gemeinsame Tokenrepräsentation. Kontrastives Lernen kann Bild- und Textrepräsentationen in einem gemeinsamen Raum ausrichten.

    Vision-Language-Modelle kombinieren visuelle Merkmale mit Sprachmodellen. Weitere Systeme integrieren Audio, Video, 3D oder Roboteraktionen.

    Expertenwissen

    CLIP zeigte, wie Bild- und Textencoder durch kontrastives Lernen auf große Mengen gepaarter Bild-Text-Daten ausgerichtet werden können. Flamingo verband vortrainierte visuelle und sprachliche Komponenten für flexible visuelle Fragebeantwortung und Few-Shot-Lernen.

    Aktuelle Systeme unterscheiden sich stark darin, ob Modalitäten nativ gemeinsam trainiert, über Adapter verbunden oder über getrennte Spezialmodelle orchestriert werden. Multimodalität allein garantiert weder räumliches Verständnis noch physikalische Korrektheit.

    Möglichkeiten und Grenzen

    • Barrierefreiheit durch Bildbeschreibung, Transkription und Sprachausgabe.
    • Medienproduktion, visuelle Recherche und technische Assistenz.
    • Fehler können sich aus mehreren Modalitäten gegenseitig verstärken.
    • Bilder, Stimmen und Videos erhöhen Datenschutz- und Identitätsrisiken.
    • Sensordaten benötigen domänenspezifische Validierung.

    Quellen