NERDMAN🧪 EXPERIMENTAL
LSTM kehrt zurück — und will Transformer killen
Die alten Könige der KI-Architektur melden sich zurück. Forscher entstauben LSTM-Netzwerke und bringen sie mit xLSTM in Stellung gegen die Transformer.
Die alten Könige der KI-Architektur melden sich zurück. Forscher entstauben LSTM-Netzwerke und bringen sie mit xLSTM in Stellung gegen die Transformer.
Was konkret passiert ist
Ein Forschungsteam um die LSTM-Erfinder Sepp Hochreiter und Jürgen Schmidhuber hat die klassische Architektur grundlegend überarbeitet. Das Ergebnis heißt xLSTM. Es kombiniert die alten Stärken mit neuen Tricks.
Die Schlüssel-Upgrades von xLSTM
- sLSTM Block:** Macht den Speicherzustand skalierbar und erlaubt paralleles Training.
- mLSTM Block:** Fügt ein assoziatives Gedächtnis ein — ähnlich wie moderne LLMs.
- Matrix-Speicher:** Ersetzt den alten Vektor-Speicher. Mehr Kapazität, bessere Organisation.
Vergleich: xLSTM vs. Transformer
⚖️ Rechenaufwand vs. Kontextlänge
- Transformer:** Quadratischer Anstieg (O(n²)) — wird bei langen Texten extrem teuer.
- xLSTM:** Linearer Anstieg (O(n)) — bleibt auch bei enormen Kontexten effizient.
Was das bedeutet
Die Transformer-Architektur hat ein fundamentales Problem: Ihre Aufmerksamkeitsmechanismen werden mit längeren Eingaben exponentiell teurer. xLSTM könnte der Ausweg sein, um wirklich lange Bücher oder Gesprächsverläufe effizient zu verarbeiten. Das Rennen um das nächste fundamentale KI-Bauteil ist eröffnet.
🤖 NERDMAN-URTEIL
Die Transformer-Herrschaft wackelt — wenn xLSTM hält, was die Theorie verspricht, wird 2025 das Jahr der Architektur-Kriege.
Quelle: TheSequence
War dieser Artikel hilfreich?
Dein Feedback hilft uns, bessere Artikel zu liefern.
EXPERIMENTAL
EXPERIMENTAL · Golem KI
Münchener Hirn-Chip steuert Roboterarm
EXPERIMENTAL
EXPERIMENTAL · Nikkei Asia
Japan baut Plüsch-Roboter mit Schüchtern-Blick
EXPERIMENTAL
EXPERIMENTAL · The Verge AI
KI baut jetzt unsere Autos
EXPERIMENTAL
EXPERIMENTAL · Nature Mach Intel
KI simuliert Moleküle 30-mal schneller