NERDMANBonner Forscher lassen kleine KI länger nachdenken
Ein Team aus Bonn hat Transformer-Modelle gebaut, die selbst entscheiden, wie lange sie über eine Aufgabe grübeln. Das Ergebnis: Kleine Modelle schlagen deutlich größere — zumindest in Mathe.
Das Prinzip: Denken nach Bedarf
Die Idee klingt simpel, ist aber clever. Statt jedem Problem die gleiche Rechenzeit zu geben, darf das Modell selbst bestimmen, wie viele Durchläufe es braucht. Mathe-Aufgaben? Mehr Runden. Einfache Fakten? Weniger.
- Methode:** Adaptive Rechenzeit — das Modell entscheidet selbst über die Anzahl der Verarbeitungsschritte
- Ergebnis:** Kleinere Modelle übertreffen deutlich größere bei Mathematik-Aufgaben
- Herkunft:** Universität Bonn
Warum das zählt
Die großen KI-Labs lösen Probleme bisher vor allem mit Brute Force: mehr Parameter, mehr Daten, mehr Geld. Bonn zeigt einen anderen Weg. Nicht die Größe des Modells entscheidet, sondern wie schlau es seine Ressourcen einsetzt.
⚖️ Alltagswissen vs. Mathe
Die Forscher haben dabei einen interessanten Unterschied gefunden. Für Alltagswissen braucht ein Modell vor allem ein gutes Gedächtnis — also viele Parameter. Für Mathe braucht es Bedenkzeit — also mehr Rechenschritte. Zwei verschiedene Probleme, zwei verschiedene Lösungen.
Das ist ein direkter Angriff auf die "einfach größer bauen"-Philosophie von OpenAI und Google.
