KI Panorama

Suche

Reifegrad: Verfügbar

  • Attention

    Ein Mechanismus, der berechnet, welche Teile einer Eingabe für die Verarbeitung anderer Teile besonders relevant sind.

    Einfach erklärt

    Ein Mechanismus, der berechnet, welche Teile einer Eingabe für die Verarbeitung anderer Teile besonders relevant sind.

    Beispiel

    In einem Satz kann ein Pronomen auf ein weit entferntes Substantiv verweisen. Attention hilft dem Modell, diese Beziehung zu gewichten.

    Technische Bedeutung

    Transformer verwenden Query-, Key- und Value-Repräsentationen, um gewichtete Kombinationen von Informationen zu berechnen.

    Verwandte Begriffe

    Transformer, Kontextfenster, Token

    Quellen

  • Transformer und Attention

    Ein Transformer bewertet, welche Teile einer Eingabe für andere Teile besonders wichtig sind. Dieser Attention-Mechanismus ermöglicht kontextabhängige Repräsentationen und eine stark parallelisierbare Verarbeitung.

    Einfach erklärt

    In einem Satz hängt die Bedeutung eines Wortes von anderen Wörtern ab. Attention berechnet, auf welche Stellen das Modell bei der Verarbeitung besonders achten sollte.

    Bei „Die Bank am Fluss“ und „die Bank überweist Geld“ erhält das Wort „Bank“ durch den umgebenden Kontext unterschiedliche Repräsentationen.

    Anschauliches Beispiel

    Bei der Übersetzung eines langen Satzes kann ein Transformer für jedes Wort Beziehungen zu allen relevanten Wörtern berechnen. Dadurch muss Information nicht nur Schritt für Schritt durch eine lange Kette weitergereicht werden.

    Fortgeschrittene Erklärung

    Self-Attention erzeugt aus Eingaberepräsentationen Query-, Key- und Value-Vektoren. Ähnlichkeiten zwischen Queries und Keys bestimmen Gewichte, mit denen Values kombiniert werden. Multi-Head Attention berechnet mehrere solcher Beziehungsmuster parallel.

    Positionsinformationen müssen zusätzlich eingebracht werden, weil reine Attention keine natürliche Reihenfolge kennt. Feedforward-Schichten, Residualverbindungen und Normalisierung ergänzen die Architektur.

    Expertenwissen

    Die skalierte Dot-Product-Attention berechnet softmax(QKᵀ/√d)V. Die quadratische Abhängigkeit von der Sequenzlänge ist bei langen Kontexten ein wesentlicher Ressourcenfaktor. Zahlreiche spätere Varianten optimieren Speicher, Rechenaufwand, Positionskodierung und den Umgang mit langen Sequenzen.

    Der ursprüngliche Transformer wurde für maschinelle Übersetzung vorgestellt. Seine Architektur wurde anschließend auf Sprachmodelle, Vision, Audio, Biologie, Robotik und multimodale Systeme übertragen.

    Möglichkeiten und Grenzen

    • Effiziente parallele Verarbeitung während des Trainings.
    • Gute Modellierung weiter Abhängigkeiten in Sequenzen.
    • Hoher Speicher- und Rechenbedarf bei langen Kontexten.
    • Attention-Gewichte sind nicht automatisch eine vollständige Erklärung einer Modellentscheidung.

    Quellen

  • Embedding

    Eine numerische Vektorrepräsentation von Text, Bildern oder anderen Daten, in der ähnliche Inhalte häufig nahe beieinander liegen.

    Einfach erklärt

    Eine numerische Vektorrepräsentation von Text, Bildern oder anderen Daten, in der ähnliche Inhalte häufig nahe beieinander liegen.

    Beispiel

    Eine semantische Suche kann „Passwort zurücksetzen“ finden, obwohl nach „Zugangsdaten ändern“ gesucht wurde.

    Technische Bedeutung

    Embeddings werden durch trainierte Modelle erzeugt und mit Distanz- oder Ähnlichkeitsmaßen verglichen.

    Verwandte Begriffe

    Vektorsuche, RAG, Token

    Quellen

  • Token, Kontextfenster und Wahrscheinlichkeiten

    Ein Sprachmodell liest keine Wörter wie ein Mensch. Es zerlegt Text in Token und berechnet für mögliche Fortsetzungen Wahrscheinlichkeiten. Das Kontextfenster bestimmt, welche Token gleichzeitig berücksichtigt werden.

    Einfach erklärt

    Token können ganze Wörter, Wortteile, Satzzeichen oder Zeichenfolgen sein. Häufige Wörter bestehen oft aus wenigen Token, seltene Wörter aus mehreren.

    Das Kontextfenster ist der begrenzte Arbeitsbereich des Modells. Enthält ein Gespräch mehr Token als verarbeitet werden können, müssen ältere Teile gekürzt, zusammengefasst oder anderweitig gespeichert werden.

    Anschauliches Beispiel

    Das deutsche Kompositum „Datenschutzfolgenabschätzung“ kann in mehrere Token zerlegt werden. Für das Modell ist deshalb die Anzahl der Wörter nicht identisch mit der Anzahl der verarbeiteten Einheiten.

    Fortgeschrittene Erklärung

    Tokenizer ordnen Textstücken numerische IDs zu. Das Modell wandelt diese IDs in Vektorrepräsentationen um. Für die nächste Position entsteht eine Wahrscheinlichkeitsverteilung über das Vokabular.

    Sampling-Parameter beeinflussen, wie vorhersehbar oder vielfältig eine Ausgabe wird. Eine niedrigere Zufälligkeit kann Antworten konsistenter machen, garantiert aber keine sachliche Richtigkeit.

    Expertenwissen

    Tokenisierung ist ein Kompromiss zwischen Vokabulargröße und Sequenzlänge. Verfahren wie Byte Pair Encoding oder verwandte Subword-Methoden können unbekannte Wörter aus kleineren Einheiten zusammensetzen.

    Die nutzbare Kontextlänge ist nicht mit einem perfekten Langzeitgedächtnis gleichzusetzen. Auch innerhalb des technischen Limits können relevante Informationen übersehen, schwächer gewichtet oder durch konkurrierenden Kontext verdrängt werden.

    Möglichkeiten und Grenzen

    • Lange Kontexte ermöglichen die Analyse umfangreicher Dokumente und Dialoge.
    • Mehr Kontext erhöht Kosten und kann neue Ablenkungen erzeugen.
    • Tokenlimits unterscheiden sich je nach Modell und Produkt.
    • Ein großer Kontext ersetzt keine strukturierte Dokumentensuche oder Qualitätskontrolle.

    Quellen

  • Fine-Tuning

    Zusätzliches Training eines bereits vortrainierten Modells für eine bestimmte Aufgabe, Domäne oder Verhaltensweise.

    Einfach erklärt

    Zusätzliches Training eines bereits vortrainierten Modells für eine bestimmte Aufgabe, Domäne oder Verhaltensweise.

    Beispiel

    Ein allgemeines Sprachmodell wird mit geprüften Fachbeispielen weitertrainiert, damit es eine bestimmte Textsorte besser beherrscht.

    Technische Bedeutung

    Beim Fine-Tuning werden Modellparameter mit einem kleineren, zielgerichteten Datensatz weiter optimiert. Alternativen sind Prompting, RAG und Adapterverfahren.

    Verwandte Begriffe

    Training, Foundation Model, RAG

    Quellen

  • Embeddings und Vektorsuche

    Ein Embedding übersetzt Text, Bilder oder andere Daten in eine Zahlenliste. In diesem Vektorraum lassen sich ähnliche Inhalte suchen, gruppieren und miteinander vergleichen.

    Einfach erklärt

    Ein Computer kann Bedeutungen nicht direkt mit menschlichen Begriffen vergleichen. Ein Embedding macht aus einem Inhalt einen Punkt in einem mehrdimensionalen Raum.

    Texte mit ähnlicher Bedeutung landen häufig näher beieinander als inhaltlich unterschiedliche Texte. So kann eine Suche passende Abschnitte finden, auch wenn nicht exakt dieselben Wörter vorkommen.

    Anschauliches Beispiel

    Eine Suche nach „Wie kann ich mein Passwort ändern?“ kann auch einen Abschnitt mit der Überschrift „Zugangsdaten zurücksetzen“ finden. Die Begriffe sind nicht identisch, ihre Bedeutungen können im Embedding-Raum aber ähnlich repräsentiert sein.

    Fortgeschrittene Erklärung

    Embeddings werden von trainierten Modellen erzeugt. Die Ähnlichkeit zweier Vektoren wird häufig mit Kosinusähnlichkeit oder einer Distanzfunktion gemessen. Vektordatenbanken speichern viele Embeddings und ermöglichen eine effiziente Suche nach den nächstgelegenen Einträgen.

    Embeddings werden für semantische Suche, Clustering, Empfehlungen, Duplikaterkennung und Retrieval-Augmented Generation eingesetzt.

    Expertenwissen

    Frühe Verfahren wie Word2Vec lernten statische Wortvektoren aus Kontextbeziehungen. Neuere Transformer-basierte Modelle erzeugen kontextabhängige Repräsentationen für Wörter, Sätze, Dokumente oder mehrere Modalitäten.

    Die Qualität einer Vektorsuche hängt von Modell, Segmentierung, Indexverfahren, Ähnlichkeitsmetrik, Sprache und Domäne ab. Nähe im Vektorraum ist ein statistisches Signal, kein Beweis für sachliche Gleichheit.

    Möglichkeiten und Grenzen

    • Semantische Suche ohne exakte Stichwortübereinstimmung.
    • Verknüpfung von Text und Bildern in gemeinsamen Repräsentationsräumen.
    • Ähnliche, aber sachlich unterschiedliche Inhalte können verwechselt werden.
    • Sensible Inhalte bleiben auch in Vektorform schutzbedürftig.

    Quellen

  • Foundation Model

    Ein breit vortrainiertes Basismodell, das für viele nachgelagerte Aufgaben angepasst oder direkt verwendet werden kann.

    Einfach erklärt

    Ein breit vortrainiertes Basismodell, das für viele nachgelagerte Aufgaben angepasst oder direkt verwendet werden kann.

    Beispiel

    Dasselbe Grundmodell kann Texte zusammenfassen, Fragen beantworten und Code erklären.

    Technische Bedeutung

    Foundation Models werden auf umfangreichen Daten trainiert und durch Prompting, Fine-Tuning, Retrieval oder Werkzeuge für konkrete Anwendungen genutzt.

    Verwandte Begriffe

    LLM, Fine-Tuning, multimodal

    Quellen