KI Panorama

Suche

Thema: Grundlagen

  • Transformer

    Eine neuronale Netzwerkarchitektur, die Sequenzen hauptsächlich mit Attention-Mechanismen verarbeitet.

    Einfach erklärt

    Eine neuronale Netzwerkarchitektur, die Sequenzen hauptsächlich mit Attention-Mechanismen verarbeitet.

    Beispiel

    Das Modell kann Beziehungen zwischen weit auseinanderliegenden Wörtern eines Satzes berücksichtigen.

    Technische Bedeutung

    Transformer kombinieren Multi-Head Attention, Feedforward-Netze, Residualverbindungen, Normalisierung und Positionsinformation.

    Verwandte Begriffe

    Attention, LLM, Token

    Quellen

  • Algorithmus

    Eine endliche, eindeutig beschriebene Folge von Verarbeitungsschritten zur Lösung einer Aufgabe.

    Einfach erklärt

    Eine endliche, eindeutig beschriebene Folge von Verarbeitungsschritten zur Lösung einer Aufgabe.

    Beispiel

    Ein Kochrezept ist eine anschauliche Analogie: Aus Zutaten und klaren Schritten entsteht ein Ergebnis.

    Technische Bedeutung

    In KI-Systemen können Algorithmen Daten aufbereiten, Modelle trainieren, Suchräume durchsuchen oder Ausgaben erzeugen.

    Verwandte Begriffe

    Maschinelles Lernen, Training, Modell

    Quellen

  • Attention

    Ein Mechanismus, der berechnet, welche Teile einer Eingabe für die Verarbeitung anderer Teile besonders relevant sind.

    Einfach erklärt

    Ein Mechanismus, der berechnet, welche Teile einer Eingabe für die Verarbeitung anderer Teile besonders relevant sind.

    Beispiel

    In einem Satz kann ein Pronomen auf ein weit entferntes Substantiv verweisen. Attention hilft dem Modell, diese Beziehung zu gewichten.

    Technische Bedeutung

    Transformer verwenden Query-, Key- und Value-Repräsentationen, um gewichtete Kombinationen von Informationen zu berechnen.

    Verwandte Begriffe

    Transformer, Kontextfenster, Token

    Quellen

  • Embedding

    Eine numerische Vektorrepräsentation von Text, Bildern oder anderen Daten, in der ähnliche Inhalte häufig nahe beieinander liegen.

    Einfach erklärt

    Eine numerische Vektorrepräsentation von Text, Bildern oder anderen Daten, in der ähnliche Inhalte häufig nahe beieinander liegen.

    Beispiel

    Eine semantische Suche kann „Passwort zurücksetzen“ finden, obwohl nach „Zugangsdaten ändern“ gesucht wurde.

    Technische Bedeutung

    Embeddings werden durch trainierte Modelle erzeugt und mit Distanz- oder Ähnlichkeitsmaßen verglichen.

    Verwandte Begriffe

    Vektorsuche, RAG, Token

    Quellen

  • Fine-Tuning

    Zusätzliches Training eines bereits vortrainierten Modells für eine bestimmte Aufgabe, Domäne oder Verhaltensweise.

    Einfach erklärt

    Zusätzliches Training eines bereits vortrainierten Modells für eine bestimmte Aufgabe, Domäne oder Verhaltensweise.

    Beispiel

    Ein allgemeines Sprachmodell wird mit geprüften Fachbeispielen weitertrainiert, damit es eine bestimmte Textsorte besser beherrscht.

    Technische Bedeutung

    Beim Fine-Tuning werden Modellparameter mit einem kleineren, zielgerichteten Datensatz weiter optimiert. Alternativen sind Prompting, RAG und Adapterverfahren.

    Verwandte Begriffe

    Training, Foundation Model, RAG

    Quellen

  • Foundation Model

    Ein breit vortrainiertes Basismodell, das für viele nachgelagerte Aufgaben angepasst oder direkt verwendet werden kann.

    Einfach erklärt

    Ein breit vortrainiertes Basismodell, das für viele nachgelagerte Aufgaben angepasst oder direkt verwendet werden kann.

    Beispiel

    Dasselbe Grundmodell kann Texte zusammenfassen, Fragen beantworten und Code erklären.

    Technische Bedeutung

    Foundation Models werden auf umfangreichen Daten trainiert und durch Prompting, Fine-Tuning, Retrieval oder Werkzeuge für konkrete Anwendungen genutzt.

    Verwandte Begriffe

    LLM, Fine-Tuning, multimodal

    Quellen

  • Halluzination

    Eine plausible, aber falsche, unbelegte oder zur Quelle widersprüchliche Ausgabe eines generativen Systems. NIST verwendet auch den Begriff Konfabulation.

    Einfach erklärt

    Eine plausible, aber falsche, unbelegte oder zur Quelle widersprüchliche Ausgabe eines generativen Systems. NIST verwendet auch den Begriff Konfabulation.

    Beispiel

    Ein Modell nennt ein überzeugend klingendes Buch, das nicht existiert.

    Technische Bedeutung

    Die Definition hängt von der Aufgabe ab. Gegenmaßnahmen umfassen Retrieval, Verifikation, Kalibrierung und menschliche Prüfung.

    Verwandte Begriffe

    RAG, Quellenprüfung, generative KI

    Quellen

  • Inferenz

    Die Nutzung eines trainierten Modells, um für neue Eingaben eine Ausgabe oder Vorhersage zu berechnen.

    Einfach erklärt

    Die Nutzung eines trainierten Modells, um für neue Eingaben eine Ausgabe oder Vorhersage zu berechnen.

    Beispiel

    Nach dem Training erkennt ein Bildmodell ein neues Foto – dieser Anwendungsschritt ist Inferenz.

    Technische Bedeutung

    Inferenz umfasst den Vorwärtslauf durch das Modell und gegebenenfalls Sampling, Decoding oder Werkzeugaufrufe.

    Verwandte Begriffe

    Training, Modell, Token

    Quellen

  • Kontextfenster

    Die Menge an Token, die ein Modell in einem Verarbeitungsschritt berücksichtigen kann.

    Einfach erklärt

    Die Menge an Token, die ein Modell in einem Verarbeitungsschritt berücksichtigen kann.

    Beispiel

    Ein sehr langes Gespräch kann den verfügbaren Arbeitsbereich überschreiten; ältere Inhalte müssen dann gekürzt oder ausgelagert werden.

    Technische Bedeutung

    Technische Kontextlimits und effektive Nutzung sind verschieden. Auch innerhalb des Limits können relevante Stellen schwach berücksichtigt werden.

    Verwandte Begriffe

    Token, Transformer, RAG

    Quellen

  • Large Language Model (LLM)

    Ein großes Sprachmodell, das Text als Token verarbeitet und Wahrscheinlichkeiten für mögliche Fortsetzungen berechnet.

    Einfach erklärt

    Ein großes Sprachmodell, das Text als Token verarbeitet und Wahrscheinlichkeiten für mögliche Fortsetzungen berechnet.

    Beispiel

    Das Modell setzt einen begonnenen Satz fort und kann daraus Antworten, Zusammenfassungen oder Code erzeugen.

    Technische Bedeutung

    Moderne LLMs sind meist Transformer-basierte Foundation Models und werden durch Vortraining sowie zusätzliche Anpassungsschritte entwickelt.

    Verwandte Begriffe

    Transformer, Token, Foundation Model

    Quellen