Eine Verarbeitungseinheit, in die Text für ein Sprachmodell zerlegt wird. Ein Token kann ein Wort, Wortteil oder Satzzeichen sein.
Einfach erklärt
Eine Verarbeitungseinheit, in die Text für ein Sprachmodell zerlegt wird. Ein Token kann ein Wort, Wortteil oder Satzzeichen sein.
Beispiel
Ein langes zusammengesetztes deutsches Wort kann aus mehreren Token bestehen.
Technische Bedeutung
Tokenizer ordnen Textstücken numerische IDs zu. Tokenzahl beeinflusst Kontextlänge, Rechenaufwand und Kosten.
Verwandte Begriffe
Kontextfenster, LLM, Tokenizer