NERDMANLLMs pressen Text in nur 10 Bit
Ein ganzes Haiku — komprimiert auf 10 Bit. Forscher zeigen, dass große Sprachmodelle Texte so brutal zusammenstauchen können, wie es kein klassischer Algorithmus je könnte.
Wie das funktioniert
Die Methode nutzt LLMs als Kompressor. Das Modell sagt das nächste Wort vorher, und ein arithmetischer Codierer speichert nur die Abweichung. Je besser die Vorhersage, desto weniger Bits bleiben übrig.
Zwei Modi stehen zur Wahl: Verlustfrei mit speziell trainierten LoRA-Adaptern. Oder verlustbehaftet — das Modell schreibt den Text erst knapper um, dann wird codiert.
Die Zahlen
- 2×** — so viel besser komprimieren LoRA-Adapter als das nackte Basis-LLM
- 10 Bit** — reichen, um ein Haiku von Opus-Qualität zu rekonstruieren
- 100×** — Kompressionsrate bei verlustbehafteter Methode gegenüber Standard-Verfahren
💡 Was das bedeutet
Das Paper beschreibt eine Compression-Compute-Frontier: Wer mehr Rechenleistung reinsteckt, kriegt kleinere Dateien raus. Das ist kein ZIP-Ersatz für deine Urlaubsfotos. Aber für die Übertragung von KI-generiertem Text — also genau dem Zeug, das gerade das Internet flutet — könnte das massiv Bandbreite sparen.
✅ Pro
- Funktioniert mit existierenden LLMs
- Verlustfreie UND verlustbehaftete Variante
- Ergebnisse reproduzierbar, da LoRA-basiert
❌ Con
- Braucht ein LLM zum De-Komprimieren — nichts für schwache Hardware
- Nur für Text, nicht für Bilder oder Video
- Noch reines Forschungspaper, kein Tool, kein Release