Forscher zähmen Token-Längen mit neuem Modell

Ein neues Paper auf arXiv schlägt ein Framework vor, das die Länge von KI-Antworten auf Token-Ebene vorhersagt. Klingt nerdig — könnte aber Inferenz-Kosten massiv drücken.

Was LenVM eigentlich macht

Heutige Sprachmodelle generieren Tokens, ohne zu wissen, wie lang die Antwort noch wird. Das kostet Rechenzeit und nervt beim Reasoning. LenVM (Length Value Model) schätzt für jedes Token, wie viele noch kommen.

Das Ganze läuft als eigenes Pretraining-Verfahren — feiner als bisherige Ansätze, die nur auf Sequenz-Ebene arbeiten.

Die Kernidee in Zahlen

✅ Pro

❌ Con

💡 Was das bedeutet

Wenn Modelle wissen, wann sie aufhören müssen, sparen Anbieter Geld und Nutzer Wartezeit. Bei Reasoning-Modellen, die gerne mal 10.000 Tokens nachdenken, ist das relevant. Aber bis daraus ein echtes Produkt wird, sind es noch viele Schritte.