KI Panorama

Suche

Wissensstufe: Fortgeschritten

  • GraphCast: Wettervorhersage mit Graph Neural Networks

    GraphCast war ein wichtiger Forschungsmeilenstein für KI-gestützte Wettermodelle. Das System lernte aus Reanalyse-Daten und erzeugte globale Vorhersagen für zahlreiche Wettervariablen.

    Einfach erklärt

    Klassische Wettermodelle berechnen physikalische Gleichungen auf Supercomputern. GraphCast lernte aus historischen, physikalisch aufbereiteten Wetterdaten, wie sich globale Zustände typischerweise weiterentwickeln.

    Das System konnte eine Zehn-Tage-Prognose in sehr kurzer Rechenzeit erzeugen. Es ist kein gewöhnlicher Wetterdienst für Endnutzer, sondern ein Forschungsmodell und Baustein einer schnell fortschreitenden Modellfamilie.

    Wissenschaftlicher Hintergrund

    GraphCast nutzt ein Graph Neural Network, das Wetterzustände auf einem globalen Gitter und einem mehrskaligen Graphen verarbeitet. Trainiert wurde es mit ERA5-Reanalysedaten.

    Die 2023 in Science veröffentlichte Arbeit verglich GraphCast mit dem damaligen operationellen deterministischen HRES-System des ECMWF. Neuere KI-Wettermodelle wurden seitdem weiterentwickelt; GraphCast ist daher als dokumentierter Forschungsstand von 2023 einzuordnen, nicht als Aussage über das heute beste Modell.

    Ergebnisse

    • Vorhersage zahlreicher globaler Wettervariablen bis zu zehn Tage.
    • Im veröffentlichten Vergleich bessere Ergebnisse auf einem großen Anteil der geprüften Zielgrößen.
    • Sehr kurze Inferenzzeit im Vergleich zu aufwendigen numerischen Simulationen.
    • Bereitgestellter Forschungscode und Modellressourcen.

    Bedeutung und mögliche Anwendungen

    Schnelle KI-Modelle können Ensembles, Frühwarnung, Forschung und die Ergänzung numerischer Wettermodelle unterstützen. Besonders wichtig ist die Kombination mit meteorologischer Expertise, Unsicherheitsabschätzung und kontinuierlicher Validierung.

    Grenzen und offene Fragen

    • Wettervorhersagen bleiben grundsätzlich unsicher und müssen probabilistisch bewertet werden.
    • Leistung bei Extremereignissen, veränderten Klimabedingungen und seltenen Situationen muss fortlaufend geprüft werden.
    • Training beruht auf Reanalysedaten, die selbst Modelle und Messungen kombinieren.
    • Operationeller Einsatz erfordert robuste Datenpipelines, Überwachung und institutionelle Verantwortung.

    Publikationen und Originalquellen

    Die GraphCast-Arbeit erschien 2023 in Science. Google DeepMind stellt außerdem Projektinformationen und Code bereit. Die aktuelle DeepMind-Wetterforschung wird unter WeatherNext weitergeführt.

    Quellen

  • Neuronale Netze und Deep Learning

    Ein künstliches neuronales Netz verarbeitet Zahlen durch mehrere miteinander verbundene Schichten. Beim Training werden die Verbindungsgewichte so angepasst, dass das Netz eine Aufgabe zunehmend besser löst.

    Einfach erklärt

    Ein neuronales Netz besteht aus vielen kleinen Rechenschritten. Jede Schicht nimmt Zahlen entgegen, gewichtet sie, wendet eine nichtlineare Funktion an und gibt neue Zahlen an die nächste Schicht weiter.

    „Deep Learning“ bedeutet, dass ein Netz viele Verarbeitungsschichten besitzt. Dadurch kann es aus Rohdaten schrittweise komplexere Merkmale bilden – bei Bildern zum Beispiel von Kanten über Formen bis zu ganzen Objekten.

    Anschauliches Beispiel

    Eine Bilderkennung erhält Pixelwerte. Frühe Schichten reagieren auf einfache Kontraste und Kanten. Spätere Schichten kombinieren diese Signale zu Texturen, Formen und schließlich zu Merkmalen, die für die gesuchte Kategorie relevant sind.

    Fortgeschrittene Erklärung

    Die Recheneinheiten werden üblicherweise als lineare Transformationen mit anschließender Aktivierungsfunktion umgesetzt. Beim Vorwärtslauf entsteht eine Ausgabe. Eine Verlustfunktion misst die Abweichung vom Ziel. Durch Backpropagation werden Gradienten für die Parameter berechnet und von einem Optimierer aktualisiert.

    Unterschiedliche Architekturen sind auf unterschiedliche Datenstrukturen zugeschnitten. Faltungsnetze wurden für räumliche Daten populär, rekurrente Netze für Sequenzen und Transformer für lange Abhängigkeiten sowie stark parallelisierbare Verarbeitung.

    Expertenwissen

    Tiefe Netze lernen hierarchische Repräsentationen. Ihre Ausdrucksstärke entsteht aus der Verkettung vieler affiner Transformationen und Nichtlinearitäten. Entscheidend sind nicht nur Tiefe und Parameterzahl, sondern auch Daten, Optimierungsverfahren, Regularisierung, Normierung, Architektur und Rechenbudget.

    Die internen Repräsentationen sind verteilt: Ein einzelner Parameter entspricht meist keinem klar benennbaren Wissensteil. Interpretierbarkeit und robuste Kausalität bleiben deshalb anspruchsvoll.

    Möglichkeiten und Grenzen

    • Neuronale Netze sind besonders leistungsfähig bei Bildern, Sprache, Text, Audio und komplexen Sensordaten.
    • Sie benötigen häufig große Datenmengen und erhebliche Rechenleistung.
    • Sie können empfindlich auf Datenverschiebungen und manipulierte Eingaben reagieren.
    • Ihre Entscheidungen sind oft schwer vollständig nachzuvollziehen.

    Quellen

  • Generative KI

    Generative KI berechnet neue Inhalte, die zu einer Eingabe und zu den im Training gelernten Mustern passen. Sie ruft dabei nicht einfach einen fertigen Text oder ein fertiges Bild aus einer Datenbank ab.

    Einfach erklärt

    Ein generatives Modell lernt, wie bestimmte Daten typischerweise aufgebaut sind. Ein Sprachmodell lernt Muster in Texten. Ein Bildmodell lernt statistische Zusammenhänge zwischen Bildinhalten und Beschreibungen. Aus einer neuen Anweisung erzeugt es dann eine neue Ausgabe.

    Das Ergebnis kann originell wirken, bleibt aber eine mathematisch erzeugte Kombination gelernter Strukturen. Es besitzt keine automatische Garantie für Wahrheit, Urheberrechtsfreiheit oder Eignung.

    Anschauliches Beispiel

    Bei der Eingabe „eine technische Zeichnung eines freundlichen Haushaltsroboters“ erzeugt ein Bildmodell keine Fotografie aus einem Archiv. Es startet je nach Modelltyp mit Rauschen oder einer latenten Repräsentation und formt daraus schrittweise ein Bild, das zur Beschreibung passt.

    Fortgeschrittene Erklärung

    Zu generativen Modellklassen gehören autoregressive Modelle, Diffusionsmodelle, Variational Autoencoder und Generative Adversarial Networks. Autoregressive Sprachmodelle erzeugen Sequenzen schrittweise. Diffusionsmodelle lernen, Rauschen zu entfernen und daraus strukturierte Daten zu rekonstruieren.

    Die Ausgabe wird durch Eingabe, Kontext, Sampling-Verfahren, Modellparameter und Sicherheitsmechanismen beeinflusst. Unterschiedliche Einstellungen können bei derselben Eingabe unterschiedliche Ergebnisse erzeugen.

    Expertenwissen

    Generative Modelle approximieren eine Datenverteilung oder eine bedingte Verteilung. Beim Sampling werden neue Beispiele aus dieser gelernten Verteilung erzeugt. Bei Foundation Models wird ein breit trainiertes Basismodell für viele Aufgaben genutzt und durch Prompting, Fine-Tuning, Retrieval oder Werkzeuge angepasst.

    NIST beschreibt für generative KI unter anderem Risiken wie Konfabulationen, Datenschutzverletzungen, schädliche Verzerrungen, Informationsintegrität, Sicherheitsprobleme und problematische Mensch-System-Konfigurationen.

    Möglichkeiten und Grenzen

    • Erzeugung und Bearbeitung von Text, Bild, Audio, Video, 3D und Code.
    • Schnelle Variantenbildung, Entwürfe und Unterstützung kreativer Prozesse.
    • Ausgaben können sachlich falsch, verzerrt oder rechtlich problematisch sein.
    • Vertrauliche Daten dürfen nicht ungeprüft an externe Dienste übermittelt werden.
    • Qualitätskontrolle und Quellenprüfung bleiben erforderlich.

    Quellen

  • Große Sprachmodelle (LLMs)

    Ein Large Language Model erzeugt Sprache, indem es aus dem bisherigen Kontext Wahrscheinlichkeiten für die nächsten Token berechnet. Seine flüssige Sprache ist kein Beweis für gesichertes Wissen oder menschliches Verständnis.

    Einfach erklärt

    Ein Sprachmodell erhält einen Text und berechnet, welche Textteile wahrscheinlich folgen. Dieser Vorgang wird wiederholt, bis eine Antwort entstanden ist.

    Durch sehr umfangreiches Training kann das Modell Grammatik, Stil, Faktenmuster und viele Aufgabenformen abbilden. Es besitzt aber kein eingebautes Wahrheitsprüfsystem. Es kann überzeugend formulieren und trotzdem falsch liegen.

    Anschauliches Beispiel

    Nach dem Satz „Die Hauptstadt von Frankreich ist“ erhält das Token „Paris“ eine sehr hohe Wahrscheinlichkeit. Bei offenen Fragen gibt es viele mögliche Fortsetzungen. Das Modell wählt abhängig von seinen Einstellungen eine davon aus.

    Fortgeschrittene Erklärung

    LLMs sind meist Transformer-basierte Foundation Models. Sie werden zunächst auf großen Text- und Codedatensätzen vortrainiert. Danach können weitere Trainingsschritte folgen, etwa Instruction Tuning oder Präferenzoptimierung, damit das Modell Anweisungen besser befolgt.

    Der Kontext umfasst die aktuelle Eingabe und gegebenenfalls vorherige Nachrichten oder eingefügte Dokumente. Informationen außerhalb des Kontextes stammen aus den gelernten Parametern oder aus angebundenen Werkzeugen wie Suche und Retrieval.

    Expertenwissen

    Autoregressive LLMs modellieren eine Sequenzwahrscheinlichkeit als Produkt bedingter Wahrscheinlichkeiten. Die Transformer-Architektur berechnet kontextabhängige Repräsentationen mit Attention. Beim Training wird häufig die Vorhersage verdeckter oder nächster Token optimiert.

    Skalierung verbessert viele Fähigkeiten, beseitigt aber grundlegende Probleme nicht automatisch. Kalibrierung, Datenherkunft, Evaluierung, Systemprompt, Sampling und externe Werkzeuge beeinflussen Zuverlässigkeit und Verhalten.

    Möglichkeiten und Grenzen

    • Texterzeugung, Zusammenfassung, Übersetzung, Klassifikation, Code und dialogische Unterstützung.
    • Kann mit Dokumenten, Suchsystemen und Programmierschnittstellen verbunden werden.
    • Kennt nicht automatisch den aktuellen Stand und kann Quellen erfinden.
    • Kann Anweisungen missverstehen oder widersprüchliche Ziele verfolgen.
    • Vertrauliche und kritische Inhalte erfordern kontrollierte Prozesse.

    Quellen

  • Transformer und Attention

    Ein Transformer bewertet, welche Teile einer Eingabe für andere Teile besonders wichtig sind. Dieser Attention-Mechanismus ermöglicht kontextabhängige Repräsentationen und eine stark parallelisierbare Verarbeitung.

    Einfach erklärt

    In einem Satz hängt die Bedeutung eines Wortes von anderen Wörtern ab. Attention berechnet, auf welche Stellen das Modell bei der Verarbeitung besonders achten sollte.

    Bei „Die Bank am Fluss“ und „die Bank überweist Geld“ erhält das Wort „Bank“ durch den umgebenden Kontext unterschiedliche Repräsentationen.

    Anschauliches Beispiel

    Bei der Übersetzung eines langen Satzes kann ein Transformer für jedes Wort Beziehungen zu allen relevanten Wörtern berechnen. Dadurch muss Information nicht nur Schritt für Schritt durch eine lange Kette weitergereicht werden.

    Fortgeschrittene Erklärung

    Self-Attention erzeugt aus Eingaberepräsentationen Query-, Key- und Value-Vektoren. Ähnlichkeiten zwischen Queries und Keys bestimmen Gewichte, mit denen Values kombiniert werden. Multi-Head Attention berechnet mehrere solcher Beziehungsmuster parallel.

    Positionsinformationen müssen zusätzlich eingebracht werden, weil reine Attention keine natürliche Reihenfolge kennt. Feedforward-Schichten, Residualverbindungen und Normalisierung ergänzen die Architektur.

    Expertenwissen

    Die skalierte Dot-Product-Attention berechnet softmax(QKᵀ/√d)V. Die quadratische Abhängigkeit von der Sequenzlänge ist bei langen Kontexten ein wesentlicher Ressourcenfaktor. Zahlreiche spätere Varianten optimieren Speicher, Rechenaufwand, Positionskodierung und den Umgang mit langen Sequenzen.

    Der ursprüngliche Transformer wurde für maschinelle Übersetzung vorgestellt. Seine Architektur wurde anschließend auf Sprachmodelle, Vision, Audio, Biologie, Robotik und multimodale Systeme übertragen.

    Möglichkeiten und Grenzen

    • Effiziente parallele Verarbeitung während des Trainings.
    • Gute Modellierung weiter Abhängigkeiten in Sequenzen.
    • Hoher Speicher- und Rechenbedarf bei langen Kontexten.
    • Attention-Gewichte sind nicht automatisch eine vollständige Erklärung einer Modellentscheidung.

    Quellen

  • Token, Kontextfenster und Wahrscheinlichkeiten

    Ein Sprachmodell liest keine Wörter wie ein Mensch. Es zerlegt Text in Token und berechnet für mögliche Fortsetzungen Wahrscheinlichkeiten. Das Kontextfenster bestimmt, welche Token gleichzeitig berücksichtigt werden.

    Einfach erklärt

    Token können ganze Wörter, Wortteile, Satzzeichen oder Zeichenfolgen sein. Häufige Wörter bestehen oft aus wenigen Token, seltene Wörter aus mehreren.

    Das Kontextfenster ist der begrenzte Arbeitsbereich des Modells. Enthält ein Gespräch mehr Token als verarbeitet werden können, müssen ältere Teile gekürzt, zusammengefasst oder anderweitig gespeichert werden.

    Anschauliches Beispiel

    Das deutsche Kompositum „Datenschutzfolgenabschätzung“ kann in mehrere Token zerlegt werden. Für das Modell ist deshalb die Anzahl der Wörter nicht identisch mit der Anzahl der verarbeiteten Einheiten.

    Fortgeschrittene Erklärung

    Tokenizer ordnen Textstücken numerische IDs zu. Das Modell wandelt diese IDs in Vektorrepräsentationen um. Für die nächste Position entsteht eine Wahrscheinlichkeitsverteilung über das Vokabular.

    Sampling-Parameter beeinflussen, wie vorhersehbar oder vielfältig eine Ausgabe wird. Eine niedrigere Zufälligkeit kann Antworten konsistenter machen, garantiert aber keine sachliche Richtigkeit.

    Expertenwissen

    Tokenisierung ist ein Kompromiss zwischen Vokabulargröße und Sequenzlänge. Verfahren wie Byte Pair Encoding oder verwandte Subword-Methoden können unbekannte Wörter aus kleineren Einheiten zusammensetzen.

    Die nutzbare Kontextlänge ist nicht mit einem perfekten Langzeitgedächtnis gleichzusetzen. Auch innerhalb des technischen Limits können relevante Informationen übersehen, schwächer gewichtet oder durch konkurrierenden Kontext verdrängt werden.

    Möglichkeiten und Grenzen

    • Lange Kontexte ermöglichen die Analyse umfangreicher Dokumente und Dialoge.
    • Mehr Kontext erhöht Kosten und kann neue Ablenkungen erzeugen.
    • Tokenlimits unterscheiden sich je nach Modell und Produkt.
    • Ein großer Kontext ersetzt keine strukturierte Dokumentensuche oder Qualitätskontrolle.

    Quellen

  • Embeddings und Vektorsuche

    Ein Embedding übersetzt Text, Bilder oder andere Daten in eine Zahlenliste. In diesem Vektorraum lassen sich ähnliche Inhalte suchen, gruppieren und miteinander vergleichen.

    Einfach erklärt

    Ein Computer kann Bedeutungen nicht direkt mit menschlichen Begriffen vergleichen. Ein Embedding macht aus einem Inhalt einen Punkt in einem mehrdimensionalen Raum.

    Texte mit ähnlicher Bedeutung landen häufig näher beieinander als inhaltlich unterschiedliche Texte. So kann eine Suche passende Abschnitte finden, auch wenn nicht exakt dieselben Wörter vorkommen.

    Anschauliches Beispiel

    Eine Suche nach „Wie kann ich mein Passwort ändern?“ kann auch einen Abschnitt mit der Überschrift „Zugangsdaten zurücksetzen“ finden. Die Begriffe sind nicht identisch, ihre Bedeutungen können im Embedding-Raum aber ähnlich repräsentiert sein.

    Fortgeschrittene Erklärung

    Embeddings werden von trainierten Modellen erzeugt. Die Ähnlichkeit zweier Vektoren wird häufig mit Kosinusähnlichkeit oder einer Distanzfunktion gemessen. Vektordatenbanken speichern viele Embeddings und ermöglichen eine effiziente Suche nach den nächstgelegenen Einträgen.

    Embeddings werden für semantische Suche, Clustering, Empfehlungen, Duplikaterkennung und Retrieval-Augmented Generation eingesetzt.

    Expertenwissen

    Frühe Verfahren wie Word2Vec lernten statische Wortvektoren aus Kontextbeziehungen. Neuere Transformer-basierte Modelle erzeugen kontextabhängige Repräsentationen für Wörter, Sätze, Dokumente oder mehrere Modalitäten.

    Die Qualität einer Vektorsuche hängt von Modell, Segmentierung, Indexverfahren, Ähnlichkeitsmetrik, Sprache und Domäne ab. Nähe im Vektorraum ist ein statistisches Signal, kein Beweis für sachliche Gleichheit.

    Möglichkeiten und Grenzen

    • Semantische Suche ohne exakte Stichwortübereinstimmung.
    • Verknüpfung von Text und Bildern in gemeinsamen Repräsentationsräumen.
    • Ähnliche, aber sachlich unterschiedliche Inhalte können verwechselt werden.
    • Sensible Inhalte bleiben auch in Vektorform schutzbedürftig.

    Quellen

  • Retrieval-Augmented Generation (RAG)

    Bei RAG beantwortet ein Sprachmodell eine Frage nicht nur aus seinen Parametern. Zuerst werden passende Quellen gesucht, anschließend erzeugt das Modell auf Basis dieser Fundstellen eine Antwort.

    Einfach erklärt

    RAG funktioniert wie eine offene Buchprüfung: Das System sucht zuerst relevante Textstellen und legt sie dem Sprachmodell vor. Das Modell formuliert daraus eine Antwort.

    Dadurch können aktuelle oder interne Dokumente verwendet werden, ohne das Basismodell vollständig neu zu trainieren.

    Anschauliches Beispiel

    Ein Unternehmen speichert Bedienungsanleitungen in einer Wissensbasis. Bei einer Frage sucht das System passende Abschnitte, fügt sie in den Kontext ein und erzeugt eine Antwort mit Verweisen auf die verwendeten Dokumente.

    Fortgeschrittene Erklärung

    Typische RAG-Systeme zerlegen Dokumente in Abschnitte, erzeugen Embeddings, speichern sie in einem Index und suchen bei einer Anfrage nach ähnlichen Passagen. Ein Retriever liefert Kandidaten, die im Prompt des Generators verwendet werden.

    Varianten kombinieren Vektorsuche mit Stichwortsuche, Reranking, Metadatenfiltern, mehrstufiger Suche oder Werkzeugaufrufen.

    Expertenwissen

    Das ursprüngliche RAG-Konzept kombiniert parametrisches Wissen eines Seq2Seq-Modells mit nichtparametrischem Wissen in einem externen Index. Moderne Implementierungen sind oft modularer und verwenden unabhängige Embedding-, Retrieval-, Reranking- und Generationsmodelle.

    Die Gesamtqualität wird durch Retrieval Recall, Präzision, Chunking, Kontextaufbereitung, Zitierlogik und Generatorverhalten bestimmt. RAG verhindert Halluzinationen nicht automatisch: Ein Modell kann Quellen falsch interpretieren oder trotz fehlender Belege antworten.

    Möglichkeiten und Grenzen

    • Aktuelle und interne Wissensbestände nutzbar machen.
    • Quellen und Dokumentstellen können angezeigt werden.
    • Schlechte Suche führt zu schlechten Antworten.
    • Berechtigungen und Datenschutz müssen bereits beim Retrieval durchgesetzt werden.
    • Antworten müssen gegen die tatsächlich gefundenen Belege geprüft werden.

    Quellen

  • Diffusionsmodelle

    Ein Diffusionsmodell kann aus Rauschen schrittweise ein strukturiertes Bild oder andere Daten erzeugen. Es hat im Training gelernt, wie verrauschte Beispiele wieder in plausible Daten zurückgeführt werden.

    Einfach erklärt

    Im Training wird ein Bild zunehmend verrauscht. Das Modell lernt für viele Rauschstufen, wie es einen kleinen Teil dieses Rauschens wieder entfernen kann.

    Bei der Erzeugung beginnt das System mit Rauschen und wiederholt den gelernten Entrauschungsschritt. Eine Texteingabe kann den Prozess in Richtung eines gewünschten Motivs steuern.

    Anschauliches Beispiel

    Aus einer zufälligen Pixelwolke entstehen zuerst grobe Flächen, dann Formen, Objekte und Details. Der Prozess ist nicht mit dem Freilegen eines versteckten fertigen Bildes gleichzusetzen; das Bild wird während der Berechnung erzeugt.

    Fortgeschrittene Erklärung

    Denoising Diffusion Probabilistic Models definieren einen Vorwärtsprozess, der Daten schrittweise in Rauschen überführt, und einen gelernten Rückwärtsprozess. In praktischen Bildsystemen findet die Diffusion häufig in einem komprimierten latenten Raum statt.

    Konditionierung kann über Text-Embeddings, Bilder, Kanten, Tiefenkarten oder andere Steuersignale erfolgen. Dadurch sind Text-zu-Bild, Bildvariation, Inpainting und strukturell kontrollierte Erzeugung möglich.

    Expertenwissen

    Der Rückwärtsprozess approximiert bedingte Übergangsverteilungen beziehungsweise eine Score-Funktion. Die Trainingsziele können auf Rauschvorhersage, Datenvorhersage oder andere Parametrisierungen ausgerichtet sein.

    Sampling-Verfahren beeinflussen Geschwindigkeit, Qualität und Reproduzierbarkeit. Weniger Schritte beschleunigen die Erzeugung, können aber Detailtreue und Stabilität verändern.

    Möglichkeiten und Grenzen

    • Hochwertige Erzeugung und Bearbeitung von Bildern sowie zunehmend weiterer Modalitäten.
    • Gezielte Steuerung über Text und zusätzliche Kontrollsignale.
    • Details, Textdarstellung und räumliche Konsistenz können fehlerhaft sein.
    • Trainingsdaten, Urheberrecht, Identitätsmissbrauch und Deepfakes erfordern klare Regeln.

    Quellen

  • Multimodale KI

    Ein multimodales KI-System kann mehrere Medienarten miteinander verknüpfen. Es kann beispielsweise ein Bild analysieren, eine Frage dazu verstehen und eine gesprochene Antwort erzeugen.

    Einfach erklärt

    Menschen nehmen die Welt nicht nur als Text wahr. Multimodale Systeme verbinden verschiedene Formen von Information – zum Beispiel Wörter, Bilder, Töne, Videos oder Sensordaten.

    Dadurch kann ein System Inhalte zwischen Modalitäten übersetzen: ein Bild beschreiben, Sprache transkribieren, aus Text ein Bild erzeugen oder Video und Ton gemeinsam auswerten.

    Anschauliches Beispiel

    Ein Nutzer fotografiert eine defekte Maschine und stellt dazu eine gesprochene Frage. Ein multimodales System kann Bild und Sprache gemeinsam verarbeiten und eine textliche oder gesprochene Hilfestellung erzeugen. Für eine verlässliche Diagnose wären jedoch technische Dokumente und fachliche Prüfung nötig.

    Fortgeschrittene Erklärung

    Multimodale Modelle verwenden Encoder und Decoder für unterschiedliche Datentypen oder eine gemeinsame Tokenrepräsentation. Kontrastives Lernen kann Bild- und Textrepräsentationen in einem gemeinsamen Raum ausrichten.

    Vision-Language-Modelle kombinieren visuelle Merkmale mit Sprachmodellen. Weitere Systeme integrieren Audio, Video, 3D oder Roboteraktionen.

    Expertenwissen

    CLIP zeigte, wie Bild- und Textencoder durch kontrastives Lernen auf große Mengen gepaarter Bild-Text-Daten ausgerichtet werden können. Flamingo verband vortrainierte visuelle und sprachliche Komponenten für flexible visuelle Fragebeantwortung und Few-Shot-Lernen.

    Aktuelle Systeme unterscheiden sich stark darin, ob Modalitäten nativ gemeinsam trainiert, über Adapter verbunden oder über getrennte Spezialmodelle orchestriert werden. Multimodalität allein garantiert weder räumliches Verständnis noch physikalische Korrektheit.

    Möglichkeiten und Grenzen

    • Barrierefreiheit durch Bildbeschreibung, Transkription und Sprachausgabe.
    • Medienproduktion, visuelle Recherche und technische Assistenz.
    • Fehler können sich aus mehreren Modalitäten gegenseitig verstärken.
    • Bilder, Stimmen und Videos erhöhen Datenschutz- und Identitätsrisiken.
    • Sensordaten benötigen domänenspezifische Validierung.

    Quellen