NERDMANCaltech-Startup schrumpft LLM um Faktor 14
Ein Spin-off der Caltech will die KI-Welt auf den Kopf stellen — mit nur einem Bit pro Parameter. PrismML hat Bonasi 8B veröffentlicht, ein 1-Bit-LLM, das mit klassischen 8B-Modellen mithält.
Die Zahlen
- 14×** — kleiner als vergleichbare 8B-Modelle
- 5×** — energieeffizienter im Betrieb
- 1 Bit** — pro Gewicht statt 16 oder 32 Bit
- 8B** — Parameter, trotzdem kompetitiv in Benchmarks
Was 1-Bit bedeutet
Normale LLMs speichern jedes Gewicht als 16-Bit-Zahl. Bonasi nutzt nur ein Bit: plus oder minus eins. Das Modell braucht dadurch einen Bruchteil des Speichers und rechnet ohne aufwendige Multiplikationen. Ergebnis: Ein Modell, das auf Smartphones laufen kann statt auf GPU-Clustern.
✅ Pro
- Läuft potenziell auf Mobilgeräten ohne Cloud
- Bruchteil der Energiekosten
- Benchmarks konkurrenzfähig mit anderen 8B-Modellen
❌ Con
- PrismML ist kein etabliertes Lab — Reproduzierbarkeit abwarten
- 8B ist keine Frontier-Klasse
- 1-Bit-Quantisierung hat theoretische Grenzen bei komplexem Reasoning
Was das bedeutet
Wenn die Benchmark-Ergebnisse halten, ist das ein echter Durchbruch für Edge-AI. Kein Cloud-Zwang mehr, kein teures GPU-Abo. Für Entwickler in ressourcenarmen Umgebungen könnte das den Zugang zu brauchbarer KI demokratisieren — ohne Abhängigkeit von OpenAI, Google oder Anthropic.
