NERDMANSam Rose erklärt Quantisierung besser als jedes Lehrbuch
Wie macht man ein 70-Milliarden-Parameter-Modell klein genug für den Laptop? Sam Rose zeigt es — mit dem vielleicht besten interaktiven Essay des Jahres.
Was Quantisierung eigentlich ist
LLMs bestehen aus Milliarden von Zahlen. Jede einzelne davon braucht Speicherplatz. Quantisierung quetscht diese Zahlen in kleinere Formate — aus 16-Bit werden 4-Bit, aus Gigabytes werden Megabytes. Das Modell wird kleiner, schneller, billiger.
Warum dieser Essay anders ist
Sam Rose hat kein trockenes Paper geschrieben. Er hat eine interaktive Erklärung gebaut, durch die man sich klicken, scrollen und spielen kann. Simon Willison nennt es die beste visuelle Erklärung von Floating-Point-Zahlen, die er je gesehen hat. Rose selbst sagt: Es könnte sein bester Post überhaupt sein.
Was drin steckt
- Floating Point von Grund auf** — wie Computer Dezimalzahlen in Binär speichern, visuell erklärt
- Quantisierungs-Methoden** — von naiver Rundung bis zu modernen Techniken
- Outlier-Problem** — seltene Extremwerte, die beim Komprimieren alles kaputtmachen
- Interaktive Grafiken** — nicht lesen, sondern anfassen und verstehen
💡 Was das bedeutet
Quantisierung ist der Grund, warum du Llama 3 auf deinem MacBook laufen lassen kannst. Ohne diese Technik wären Open-Weight-Modelle ein reines Rechenzentrum-Spielzeug. Wer verstehen will, warum manche GGUF-Dateien besser laufen als andere — hier ist die Antwort.
✅ Pro
- Beste visuelle Erklärung des Themas im Netz
- Interaktiv statt trocken
- Auch für Nicht-ML-Experten zugänglich
❌ Con
- Auf Englisch
- Kein neues Tool oder Release — reines Bildungsmaterial
