Bei RAG beantwortet ein Sprachmodell eine Frage nicht nur aus seinen Parametern. Zuerst werden passende Quellen gesucht, anschließend erzeugt das Modell auf Basis dieser Fundstellen eine Antwort.
Einfach erklärt
RAG funktioniert wie eine offene Buchprüfung: Das System sucht zuerst relevante Textstellen und legt sie dem Sprachmodell vor. Das Modell formuliert daraus eine Antwort.
Dadurch können aktuelle oder interne Dokumente verwendet werden, ohne das Basismodell vollständig neu zu trainieren.
Anschauliches Beispiel
Ein Unternehmen speichert Bedienungsanleitungen in einer Wissensbasis. Bei einer Frage sucht das System passende Abschnitte, fügt sie in den Kontext ein und erzeugt eine Antwort mit Verweisen auf die verwendeten Dokumente.
Fortgeschrittene Erklärung
Typische RAG-Systeme zerlegen Dokumente in Abschnitte, erzeugen Embeddings, speichern sie in einem Index und suchen bei einer Anfrage nach ähnlichen Passagen. Ein Retriever liefert Kandidaten, die im Prompt des Generators verwendet werden.
Varianten kombinieren Vektorsuche mit Stichwortsuche, Reranking, Metadatenfiltern, mehrstufiger Suche oder Werkzeugaufrufen.
Expertenwissen
Das ursprüngliche RAG-Konzept kombiniert parametrisches Wissen eines Seq2Seq-Modells mit nichtparametrischem Wissen in einem externen Index. Moderne Implementierungen sind oft modularer und verwenden unabhängige Embedding-, Retrieval-, Reranking- und Generationsmodelle.
Die Gesamtqualität wird durch Retrieval Recall, Präzision, Chunking, Kontextaufbereitung, Zitierlogik und Generatorverhalten bestimmt. RAG verhindert Halluzinationen nicht automatisch: Ein Modell kann Quellen falsch interpretieren oder trotz fehlender Belege antworten.
Möglichkeiten und Grenzen
- Aktuelle und interne Wissensbestände nutzbar machen.
- Quellen und Dokumentstellen können angezeigt werden.
- Schlechte Suche führt zu schlechten Antworten.
- Berechtigungen und Datenschutz müssen bereits beim Retrieval durchgesetzt werden.
- Antworten müssen gegen die tatsächlich gefundenen Belege geprüft werden.