NERDMANHuaweis 4-Bit-Format schlägt den Westen
China trainiert KI jetzt mit nur 4 Bit Präzision — und ist damit schneller als die westliche Konkurrenz. Huawei-Forscher haben HiFloat4 auf ihren Ascend-Chips getestet und das etablierte MXFP4-Format geschlagen.
Was ist HiFloat4?
Ein Trainingsformat, das KI-Modelle mit extrem niedriger Zahlenpräzision rechnen lässt. Statt 16 oder 32 Bit pro Zahl reichen 4 Bit. Weniger Bits heißt: weniger Speicher, schnelleres Training, billigere Hardware.
Wie funktioniert das?
Normale KI-Trainings nutzen 16-Bit-Zahlen (FP16/BF16). HiFloat4 komprimiert das auf 4 Bit — ein Viertel des Speicherbedarfs. Der Trick: ein optimiertes Zahlenformat, das trotz der brutalen Kompression genug Genauigkeit behält.
⚖️ HiFloat4 vs. MXFP4
- Herkunft:** HiFloat4 von Huawei, MXFP4 von AMD/Nvidia/Intel/ARM
- Präzision:** Beide 4 Bit, aber HiFloat4 nutzt ein breiteres Exponentenspektrum
- Hardware:** HiFloat4 läuft auf Huaweis Ascend-Chips, MXFP4 auf westlichen GPUs
- Ergebnis:** HiFloat4 liefert bessere Trainingsgenauigkeit im direkten Vergleich
💡 Was das bedeutet
US-Exportkontrollen sollten Chinas KI-Entwicklung bremsen. Stattdessen treiben sie Huawei dazu, aus schwächerer Hardware mehr rauszuholen. Wenn 4-Bit-Training funktioniert, braucht China weniger von den Chips, die es sowieso nicht kaufen darf. Die Sanktionen erzeugen genau die Effizienz-Innovation, die sie verhindern sollten.
✅ Pro
- Vierfach weniger Speicherbedarf beim Training
- Läuft auf Chinas eigener Hardware
- Schlägt das westliche Industrieformat
❌ Con
- Bisher nur auf Ascend-Chips getestet
- Noch kein Beweis für Skalierung auf Frontier-Modelle
- Keine unabhängige Reproduktion außerhalb Huaweis
