Die Menge an Token, die ein Modell in einem Verarbeitungsschritt berücksichtigen kann.
Einfach erklärt
Die Menge an Token, die ein Modell in einem Verarbeitungsschritt berücksichtigen kann.
Beispiel
Ein sehr langes Gespräch kann den verfügbaren Arbeitsbereich überschreiten; ältere Inhalte müssen dann gekürzt oder ausgelagert werden.
Technische Bedeutung
Technische Kontextlimits und effektive Nutzung sind verschieden. Auch innerhalb des Limits können relevante Stellen schwach berücksichtigt werden.
Verwandte Begriffe
Token, Transformer, RAG