🧪 EXPERIMENTAL
KI-Modell läuft mit 87,5 Prozent weniger Experten
Forscher haben ein Mixture-of-Experts-Modell so trainiert, dass es drei Viertel seiner Experten verliert — und trotzdem fast volle Leistung bringt. Das Ding heißt EMO. Und es ...
Forscher haben ein Mixture-of-Experts-Modell so trainiert, dass es drei Viertel seiner Experten verliert — und trotzdem fast volle Leistung bringt. Das Ding heißt EMO. Und es könnte MoE endlich aus dem Rechenzentrum auf normale Hardware bringen.
Was EMO anders macht
Klassische MoE-Modelle verteilen ihre Experten auf Wortarten oder Syntax. EMO geht anders ran: Die Experten spezialisieren sich auf inhaltliche Domänen — also Themen statt Grammatik. Das macht sie austauschbar wie Module.
- Forscher:** Allen Institute for AI + UC Berkeley
- Modell:** EMO (domänen-spezialisiertes MoE)
- Trick:** Experten lernen Themen, nicht Wortarten
- Ergebnis:** 75 % Experten gelöscht, ~1 Prozentpunkt Verlust
✅ Pro
- Drastisch weniger Speicher nötig
- MoE wird endlich praxistauglich für kleine Hardware
- Akademische Forschung, kein Hype-Paper
❌ Con
- Kein Produkt, kein Download
- Nur ein Prozentpunkt klingt klein — kann je nach Task trotzdem wehtun
- Skalierung auf große Modelle noch offen
💡 Was das bedeutet
MoE-Modelle wie Mixtral oder DeepSeek sind mächtig, aber fett. Wer sie lokal laufen lassen will, scheitert am RAM. EMO zeigt: Man braucht nicht alle Experten gleichzeitig im Speicher — und das öffnet die Tür für MoE auf Laptops und Edge-Geräten.
🤖 NERDMAN-URTEIL
Endlich mal Forschung, die nicht „GPT-5 kommt bald" schreit, sondern ein echtes Speicherproblem knackt — wenn das skaliert, gehört die Zukunft den schlanken MoEs.
Quelle: The Decoder
War dieser Artikel hilfreich?
Dein Feedback hilft uns, bessere Artikel zu liefern.