Transformer

Eine neuronale Netzwerkarchitektur, die Sequenzen hauptsächlich mit Attention-Mechanismen verarbeitet.

Einfach erklärt

Eine neuronale Netzwerkarchitektur, die Sequenzen hauptsächlich mit Attention-Mechanismen verarbeitet.

Beispiel

Das Modell kann Beziehungen zwischen weit auseinanderliegenden Wörtern eines Satzes berücksichtigen.

Technische Bedeutung

Transformer kombinieren Multi-Head Attention, Feedforward-Netze, Residualverbindungen, Normalisierung und Positionsinformation.

Verwandte Begriffe

Attention, LLM, Token

Quellen

• Attention Is All You Need