KI Panorama

Suche

Thema: Sprache

  • Retrieval-Augmented Generation (RAG)

    Bei RAG beantwortet ein Sprachmodell eine Frage nicht nur aus seinen Parametern. Zuerst werden passende Quellen gesucht, anschließend erzeugt das Modell auf Basis dieser Fundstellen eine Antwort.

    Einfach erklärt

    RAG funktioniert wie eine offene Buchprüfung: Das System sucht zuerst relevante Textstellen und legt sie dem Sprachmodell vor. Das Modell formuliert daraus eine Antwort.

    Dadurch können aktuelle oder interne Dokumente verwendet werden, ohne das Basismodell vollständig neu zu trainieren.

    Anschauliches Beispiel

    Ein Unternehmen speichert Bedienungsanleitungen in einer Wissensbasis. Bei einer Frage sucht das System passende Abschnitte, fügt sie in den Kontext ein und erzeugt eine Antwort mit Verweisen auf die verwendeten Dokumente.

    Fortgeschrittene Erklärung

    Typische RAG-Systeme zerlegen Dokumente in Abschnitte, erzeugen Embeddings, speichern sie in einem Index und suchen bei einer Anfrage nach ähnlichen Passagen. Ein Retriever liefert Kandidaten, die im Prompt des Generators verwendet werden.

    Varianten kombinieren Vektorsuche mit Stichwortsuche, Reranking, Metadatenfiltern, mehrstufiger Suche oder Werkzeugaufrufen.

    Expertenwissen

    Das ursprüngliche RAG-Konzept kombiniert parametrisches Wissen eines Seq2Seq-Modells mit nichtparametrischem Wissen in einem externen Index. Moderne Implementierungen sind oft modularer und verwenden unabhängige Embedding-, Retrieval-, Reranking- und Generationsmodelle.

    Die Gesamtqualität wird durch Retrieval Recall, Präzision, Chunking, Kontextaufbereitung, Zitierlogik und Generatorverhalten bestimmt. RAG verhindert Halluzinationen nicht automatisch: Ein Modell kann Quellen falsch interpretieren oder trotz fehlender Belege antworten.

    Möglichkeiten und Grenzen

    • Aktuelle und interne Wissensbestände nutzbar machen.
    • Quellen und Dokumentstellen können angezeigt werden.
    • Schlechte Suche führt zu schlechten Antworten.
    • Berechtigungen und Datenschutz müssen bereits beim Retrieval durchgesetzt werden.
    • Antworten müssen gegen die tatsächlich gefundenen Belege geprüft werden.

    Quellen

  • Multimodale KI

    Ein multimodales KI-System kann mehrere Medienarten miteinander verknüpfen. Es kann beispielsweise ein Bild analysieren, eine Frage dazu verstehen und eine gesprochene Antwort erzeugen.

    Einfach erklärt

    Menschen nehmen die Welt nicht nur als Text wahr. Multimodale Systeme verbinden verschiedene Formen von Information – zum Beispiel Wörter, Bilder, Töne, Videos oder Sensordaten.

    Dadurch kann ein System Inhalte zwischen Modalitäten übersetzen: ein Bild beschreiben, Sprache transkribieren, aus Text ein Bild erzeugen oder Video und Ton gemeinsam auswerten.

    Anschauliches Beispiel

    Ein Nutzer fotografiert eine defekte Maschine und stellt dazu eine gesprochene Frage. Ein multimodales System kann Bild und Sprache gemeinsam verarbeiten und eine textliche oder gesprochene Hilfestellung erzeugen. Für eine verlässliche Diagnose wären jedoch technische Dokumente und fachliche Prüfung nötig.

    Fortgeschrittene Erklärung

    Multimodale Modelle verwenden Encoder und Decoder für unterschiedliche Datentypen oder eine gemeinsame Tokenrepräsentation. Kontrastives Lernen kann Bild- und Textrepräsentationen in einem gemeinsamen Raum ausrichten.

    Vision-Language-Modelle kombinieren visuelle Merkmale mit Sprachmodellen. Weitere Systeme integrieren Audio, Video, 3D oder Roboteraktionen.

    Expertenwissen

    CLIP zeigte, wie Bild- und Textencoder durch kontrastives Lernen auf große Mengen gepaarter Bild-Text-Daten ausgerichtet werden können. Flamingo verband vortrainierte visuelle und sprachliche Komponenten für flexible visuelle Fragebeantwortung und Few-Shot-Lernen.

    Aktuelle Systeme unterscheiden sich stark darin, ob Modalitäten nativ gemeinsam trainiert, über Adapter verbunden oder über getrennte Spezialmodelle orchestriert werden. Multimodalität allein garantiert weder räumliches Verständnis noch physikalische Korrektheit.

    Möglichkeiten und Grenzen

    • Barrierefreiheit durch Bildbeschreibung, Transkription und Sprachausgabe.
    • Medienproduktion, visuelle Recherche und technische Assistenz.
    • Fehler können sich aus mehreren Modalitäten gegenseitig verstärken.
    • Bilder, Stimmen und Videos erhöhen Datenschutz- und Identitätsrisiken.
    • Sensordaten benötigen domänenspezifische Validierung.

    Quellen

  • Komplexe Themen verständlich erklären lassen

    Ein Sprachmodell kann ein Thema an Vorwissen, Ziel und gewünschte Tiefe anpassen. Das Ergebnis eignet sich als Lernhilfe, muss bei Fakten und Fachthemen jedoch überprüft werden.

    Geeignet für

    • ersten Überblick über ein unbekanntes Thema
    • Umformulierung in einfachere Sprache
    • Beispiele und Analogien
    • Lernfragen und Selbstkontrolle

    Voraussetzungen

    Formuliere Thema, Zielgruppe, vorhandenes Wissen und gewünschte Tiefe. Stelle bei wichtigen Fachinformationen verlässliche Quellen bereit oder prüfe die Antwort anschließend in Primärquellen.

    Vorgehensweise

    1. Thema und eigenes Vorwissen nennen.
    2. Eine kurze einfache Erklärung anfordern.
    3. Unklare Begriffe einzeln vertiefen.
    4. Ein konkretes Beispiel und ein Gegenbeispiel verlangen.
    5. Das Verständnis mit Fragen oder einer eigenen Zusammenfassung prüfen.
    6. Fakten, Zahlen und Quellen unabhängig kontrollieren.

    Beispiel

    „Erkläre mir Retrieval-Augmented Generation zuerst in fünf einfachen Sätzen. Zeige danach ein Beispiel aus einem Handwerksbetrieb und anschließend die technische Architektur für einen Entwickler.“

    Qualitätskontrolle

    • Passt die Erklärung zur gestellten Frage?
    • Sind zentrale Begriffe korrekt verwendet?
    • Wurden Einschränkungen und Gegenbeispiele genannt?
    • Lassen sich Fakten in verlässlichen Quellen bestätigen?

    Grenzen und Risiken

    • Vereinfachungen können wichtige Bedingungen unterschlagen.
    • Erfundene Quellen und scheinpräzise Zahlen sind möglich.
    • Eine gut formulierte Erklärung ist kein Ersatz für Fachliteratur oder Unterricht.

    Passende Tools und Modelle

    Geeignet sind dialogfähige Sprachmodelle mit ausreichend großem Kontext. Für aktuelle oder interne Themen ist ein System mit Quellenzugriff oder RAG vorzuziehen.

    Quellen

  • Texte planen und überarbeiten

    Sprachmodelle eignen sich besonders gut als Schreibassistenz: Gliederungen, Varianten, Kürzungen und Stiländerungen lassen sich schnell erzeugen. Inhalt, Fakten und endgültige Formulierung bleiben in menschlicher Verantwortung.

    Geeignet für

    • Gliederungen und Argumentationsstrukturen
    • sprachliche Überarbeitung
    • Kürzen und Zusammenfassen eigener Texte
    • Varianten für unterschiedliche Zielgruppen
    • Checklisten für die Endredaktion

    Voraussetzungen

    Lege Zweck, Zielgruppe, Ton, Länge und unveränderbare Aussagen fest. Vertrauliche Texte nur in dafür freigegebenen Systemen verarbeiten.

    Vorgehensweise

    1. Ziel und Leser des Textes definieren.
    2. Eigene Stichpunkte oder einen Rohentwurf bereitstellen.
    3. Zuerst Strukturvorschläge anfordern, nicht sofort den Endtext.
    4. Abschnittsweise überarbeiten und Änderungen begründen lassen.
    5. Fakten, Zitate und rechtlich relevante Aussagen prüfen.
    6. Endfassung selbst lesen und freigeben.

    Beispiel

    „Überarbeite diesen Absatz für interessierte Anfänger. Erhalte alle Tatsachenbehauptungen, kürze auf 120 Wörter und markiere Stellen, die eine Quelle benötigen.“

    Qualitätskontrolle

    • Wurde die ursprüngliche Aussage verändert?
    • Sind Ton und Zielgruppe passend?
    • Gibt es unbelegte Ergänzungen?
    • Wurden Zitate oder Fachbegriffe korrekt erhalten?

    Grenzen und Risiken

    • Modelle können unbemerkt neue Behauptungen einfügen.
    • Stil kann vereinheitlicht und dadurch unpersönlich werden.
    • Vertrauliche Inhalte und personenbezogene Daten benötigen Schutz.

    Passende Tools und Modelle

    Geeignet sind Sprachmodelle mit Dokumentbearbeitung. Für lange Texte sind Versionierung und eine abschnittsweise Arbeitsweise sinnvoll.

    Quellen

  • Lange Dokumente zusammenfassen

    Eine gute Zusammenfassung verdichtet ein Dokument, ohne neue Aussagen einzuführen. Sprachmodelle können dabei helfen, sollten aber ausdrücklich an den bereitgestellten Text gebunden werden.

    Geeignet für

    • Überblick über Berichte und Protokolle
    • Extraktion von Entscheidungen und Aufgaben
    • Vergleich mehrerer Dokumente
    • Erstellung unterschiedlicher Zusammenfassungstiefen

    Voraussetzungen

    Das Dokument muss vollständig und lesbar vorliegen. Bei vertraulichen Unterlagen ist vorab zu klären, ob der verwendete Dienst dafür freigegeben ist.

    Vorgehensweise

    1. Dokument und gewünschte Zusammenfassungsform festlegen.
    2. Das Modell anweisen, ausschließlich den bereitgestellten Text zu verwenden.
    3. Abschnittsweise Kernpunkte und Belegstellen extrahieren.
    4. Eine Gesamtsynthese erzeugen lassen.
    5. Stichproben gegen Originalstellen prüfen.
    6. Fehlende oder widersprüchliche Informationen sichtbar lassen.

    Beispiel

    „Fasse das Dokument in zehn Kernpunkten zusammen. Nenne zu jedem Punkt die zugehörige Überschrift oder Seitenstelle. Ergänze nichts, was nicht im Dokument steht.“

    Qualitätskontrolle

    • Sind alle wichtigen Abschnitte berücksichtigt?
    • Stimmen Zahlen, Namen und Fristen?
    • Sind Schlussfolgerungen als solche gekennzeichnet?
    • Können Aussagen zu Originalstellen zurückverfolgt werden?

    Grenzen und Risiken

    • Sehr lange Dokumente können gekürzt oder ungleich gewichtet werden.
    • Tabellen, Fußnoten und Grafiken können übersehen werden.
    • Eine Zusammenfassung ersetzt nicht die Prüfung des Originals bei wichtigen Entscheidungen.

    Passende Tools und Modelle

    Geeignet sind Systeme mit Dokumentupload, großem Kontext oder RAG. Für PDF-Tabellen und Abbildungen ist echte multimodale Dokumentanalyse erforderlich.

    Quellen

  • Mit KI recherchieren und Quellen prüfen

    Nutze KI als Rechercheassistenten, nicht als Quelle. Entscheidend ist, ob jede wichtige Aussage auf eine tatsächlich vorhandene, passende und aktuelle Originalquelle zurückgeführt werden kann.

    Geeignet für

    • Fragestellung präzisieren
    • Synonyme und Suchbegriffe finden
    • Quellen nach Themen ordnen
    • Widersprüche zwischen Quellen sichtbar machen
    • Forschungslücken und offene Fragen sammeln

    Voraussetzungen

    Internet- oder Datenbankzugriff, klare Qualitätskriterien und ausreichend Zeit zur Prüfung der Originalquellen.

    Vorgehensweise

    1. Recherchefrage und Zeitraum festlegen.
    2. Geeignete Primärquellen und Fachdatenbanken bestimmen.
    3. Suchbegriffe und alternative Formulierungen erzeugen.
    4. Jede vorgeschlagene Quelle öffnen und Identität prüfen.
    5. Aussagen nur mit tatsächlich passenden Fundstellen übernehmen.
    6. Standdatum, Unsicherheit und widersprechende Ergebnisse dokumentieren.

    Beispiel

    „Erstelle Suchbegriffe für die Frage, wie KI in der Proteinstrukturvorhersage eingesetzt wird. Bevorzuge Originalpublikationen und offizielle Forschungsseiten. Erfinde keine Literaturangaben.“

    Qualitätskontrolle

    • Existiert die Quelle wirklich?
    • Ist sie primär, aktuell und fachlich passend?
    • Unterstützt sie genau die zitierte Aussage?
    • Wurden Gegenpositionen oder Einschränkungen berücksichtigt?

    Grenzen und Risiken

    • Modelle können Literaturangaben oder Zitate erfinden.
    • Suchrankings und Zusammenfassungen können verzerrt sein.
    • Paywalls oder fehlender Volltext erschweren die Prüfung.
    • Aktualität muss bei schnell wechselnden Themen ausdrücklich kontrolliert werden.

    Passende Tools und Modelle

    Geeignet sind Systeme mit nachvollziehbarer Websuche, Zitatverweisen und Zugriff auf wissenschaftliche Datenbanken. Für fachliche Arbeiten bleiben die Originalpublikationen maßgeblich.

    Quellen

  • Große Sprachmodelle (LLMs)

    Ein Large Language Model erzeugt Sprache, indem es aus dem bisherigen Kontext Wahrscheinlichkeiten für die nächsten Token berechnet. Seine flüssige Sprache ist kein Beweis für gesichertes Wissen oder menschliches Verständnis.

    Einfach erklärt

    Ein Sprachmodell erhält einen Text und berechnet, welche Textteile wahrscheinlich folgen. Dieser Vorgang wird wiederholt, bis eine Antwort entstanden ist.

    Durch sehr umfangreiches Training kann das Modell Grammatik, Stil, Faktenmuster und viele Aufgabenformen abbilden. Es besitzt aber kein eingebautes Wahrheitsprüfsystem. Es kann überzeugend formulieren und trotzdem falsch liegen.

    Anschauliches Beispiel

    Nach dem Satz „Die Hauptstadt von Frankreich ist“ erhält das Token „Paris“ eine sehr hohe Wahrscheinlichkeit. Bei offenen Fragen gibt es viele mögliche Fortsetzungen. Das Modell wählt abhängig von seinen Einstellungen eine davon aus.

    Fortgeschrittene Erklärung

    LLMs sind meist Transformer-basierte Foundation Models. Sie werden zunächst auf großen Text- und Codedatensätzen vortrainiert. Danach können weitere Trainingsschritte folgen, etwa Instruction Tuning oder Präferenzoptimierung, damit das Modell Anweisungen besser befolgt.

    Der Kontext umfasst die aktuelle Eingabe und gegebenenfalls vorherige Nachrichten oder eingefügte Dokumente. Informationen außerhalb des Kontextes stammen aus den gelernten Parametern oder aus angebundenen Werkzeugen wie Suche und Retrieval.

    Expertenwissen

    Autoregressive LLMs modellieren eine Sequenzwahrscheinlichkeit als Produkt bedingter Wahrscheinlichkeiten. Die Transformer-Architektur berechnet kontextabhängige Repräsentationen mit Attention. Beim Training wird häufig die Vorhersage verdeckter oder nächster Token optimiert.

    Skalierung verbessert viele Fähigkeiten, beseitigt aber grundlegende Probleme nicht automatisch. Kalibrierung, Datenherkunft, Evaluierung, Systemprompt, Sampling und externe Werkzeuge beeinflussen Zuverlässigkeit und Verhalten.

    Möglichkeiten und Grenzen

    • Texterzeugung, Zusammenfassung, Übersetzung, Klassifikation, Code und dialogische Unterstützung.
    • Kann mit Dokumenten, Suchsystemen und Programmierschnittstellen verbunden werden.
    • Kennt nicht automatisch den aktuellen Stand und kann Quellen erfinden.
    • Kann Anweisungen missverstehen oder widersprüchliche Ziele verfolgen.
    • Vertrauliche und kritische Inhalte erfordern kontrollierte Prozesse.

    Quellen

  • Transformer und Attention

    Ein Transformer bewertet, welche Teile einer Eingabe für andere Teile besonders wichtig sind. Dieser Attention-Mechanismus ermöglicht kontextabhängige Repräsentationen und eine stark parallelisierbare Verarbeitung.

    Einfach erklärt

    In einem Satz hängt die Bedeutung eines Wortes von anderen Wörtern ab. Attention berechnet, auf welche Stellen das Modell bei der Verarbeitung besonders achten sollte.

    Bei „Die Bank am Fluss“ und „die Bank überweist Geld“ erhält das Wort „Bank“ durch den umgebenden Kontext unterschiedliche Repräsentationen.

    Anschauliches Beispiel

    Bei der Übersetzung eines langen Satzes kann ein Transformer für jedes Wort Beziehungen zu allen relevanten Wörtern berechnen. Dadurch muss Information nicht nur Schritt für Schritt durch eine lange Kette weitergereicht werden.

    Fortgeschrittene Erklärung

    Self-Attention erzeugt aus Eingaberepräsentationen Query-, Key- und Value-Vektoren. Ähnlichkeiten zwischen Queries und Keys bestimmen Gewichte, mit denen Values kombiniert werden. Multi-Head Attention berechnet mehrere solcher Beziehungsmuster parallel.

    Positionsinformationen müssen zusätzlich eingebracht werden, weil reine Attention keine natürliche Reihenfolge kennt. Feedforward-Schichten, Residualverbindungen und Normalisierung ergänzen die Architektur.

    Expertenwissen

    Die skalierte Dot-Product-Attention berechnet softmax(QKᵀ/√d)V. Die quadratische Abhängigkeit von der Sequenzlänge ist bei langen Kontexten ein wesentlicher Ressourcenfaktor. Zahlreiche spätere Varianten optimieren Speicher, Rechenaufwand, Positionskodierung und den Umgang mit langen Sequenzen.

    Der ursprüngliche Transformer wurde für maschinelle Übersetzung vorgestellt. Seine Architektur wurde anschließend auf Sprachmodelle, Vision, Audio, Biologie, Robotik und multimodale Systeme übertragen.

    Möglichkeiten und Grenzen

    • Effiziente parallele Verarbeitung während des Trainings.
    • Gute Modellierung weiter Abhängigkeiten in Sequenzen.
    • Hoher Speicher- und Rechenbedarf bei langen Kontexten.
    • Attention-Gewichte sind nicht automatisch eine vollständige Erklärung einer Modellentscheidung.

    Quellen

  • Token, Kontextfenster und Wahrscheinlichkeiten

    Ein Sprachmodell liest keine Wörter wie ein Mensch. Es zerlegt Text in Token und berechnet für mögliche Fortsetzungen Wahrscheinlichkeiten. Das Kontextfenster bestimmt, welche Token gleichzeitig berücksichtigt werden.

    Einfach erklärt

    Token können ganze Wörter, Wortteile, Satzzeichen oder Zeichenfolgen sein. Häufige Wörter bestehen oft aus wenigen Token, seltene Wörter aus mehreren.

    Das Kontextfenster ist der begrenzte Arbeitsbereich des Modells. Enthält ein Gespräch mehr Token als verarbeitet werden können, müssen ältere Teile gekürzt, zusammengefasst oder anderweitig gespeichert werden.

    Anschauliches Beispiel

    Das deutsche Kompositum „Datenschutzfolgenabschätzung“ kann in mehrere Token zerlegt werden. Für das Modell ist deshalb die Anzahl der Wörter nicht identisch mit der Anzahl der verarbeiteten Einheiten.

    Fortgeschrittene Erklärung

    Tokenizer ordnen Textstücken numerische IDs zu. Das Modell wandelt diese IDs in Vektorrepräsentationen um. Für die nächste Position entsteht eine Wahrscheinlichkeitsverteilung über das Vokabular.

    Sampling-Parameter beeinflussen, wie vorhersehbar oder vielfältig eine Ausgabe wird. Eine niedrigere Zufälligkeit kann Antworten konsistenter machen, garantiert aber keine sachliche Richtigkeit.

    Expertenwissen

    Tokenisierung ist ein Kompromiss zwischen Vokabulargröße und Sequenzlänge. Verfahren wie Byte Pair Encoding oder verwandte Subword-Methoden können unbekannte Wörter aus kleineren Einheiten zusammensetzen.

    Die nutzbare Kontextlänge ist nicht mit einem perfekten Langzeitgedächtnis gleichzusetzen. Auch innerhalb des technischen Limits können relevante Informationen übersehen, schwächer gewichtet oder durch konkurrierenden Kontext verdrängt werden.

    Möglichkeiten und Grenzen

    • Lange Kontexte ermöglichen die Analyse umfangreicher Dokumente und Dialoge.
    • Mehr Kontext erhöht Kosten und kann neue Ablenkungen erzeugen.
    • Tokenlimits unterscheiden sich je nach Modell und Produkt.
    • Ein großer Kontext ersetzt keine strukturierte Dokumentensuche oder Qualitätskontrolle.

    Quellen

  • Embeddings und Vektorsuche

    Ein Embedding übersetzt Text, Bilder oder andere Daten in eine Zahlenliste. In diesem Vektorraum lassen sich ähnliche Inhalte suchen, gruppieren und miteinander vergleichen.

    Einfach erklärt

    Ein Computer kann Bedeutungen nicht direkt mit menschlichen Begriffen vergleichen. Ein Embedding macht aus einem Inhalt einen Punkt in einem mehrdimensionalen Raum.

    Texte mit ähnlicher Bedeutung landen häufig näher beieinander als inhaltlich unterschiedliche Texte. So kann eine Suche passende Abschnitte finden, auch wenn nicht exakt dieselben Wörter vorkommen.

    Anschauliches Beispiel

    Eine Suche nach „Wie kann ich mein Passwort ändern?“ kann auch einen Abschnitt mit der Überschrift „Zugangsdaten zurücksetzen“ finden. Die Begriffe sind nicht identisch, ihre Bedeutungen können im Embedding-Raum aber ähnlich repräsentiert sein.

    Fortgeschrittene Erklärung

    Embeddings werden von trainierten Modellen erzeugt. Die Ähnlichkeit zweier Vektoren wird häufig mit Kosinusähnlichkeit oder einer Distanzfunktion gemessen. Vektordatenbanken speichern viele Embeddings und ermöglichen eine effiziente Suche nach den nächstgelegenen Einträgen.

    Embeddings werden für semantische Suche, Clustering, Empfehlungen, Duplikaterkennung und Retrieval-Augmented Generation eingesetzt.

    Expertenwissen

    Frühe Verfahren wie Word2Vec lernten statische Wortvektoren aus Kontextbeziehungen. Neuere Transformer-basierte Modelle erzeugen kontextabhängige Repräsentationen für Wörter, Sätze, Dokumente oder mehrere Modalitäten.

    Die Qualität einer Vektorsuche hängt von Modell, Segmentierung, Indexverfahren, Ähnlichkeitsmetrik, Sprache und Domäne ab. Nähe im Vektorraum ist ein statistisches Signal, kein Beweis für sachliche Gleichheit.

    Möglichkeiten und Grenzen

    • Semantische Suche ohne exakte Stichwortübereinstimmung.
    • Verknüpfung von Text und Bildern in gemeinsamen Repräsentationsräumen.
    • Ähnliche, aber sachlich unterschiedliche Inhalte können verwechselt werden.
    • Sensible Inhalte bleiben auch in Vektorform schutzbedürftig.

    Quellen