NERDMANApple bringt KI das Nachdenken bei
Apple ML Research hat eine Methode vorgestellt, mit der Sprachmodelle selbst entscheiden, wie lange sie grübeln. Heißt: Adaptive Thinking im Latent Space.
Was Apple gebaut hat
Statt jedes Mal stur den vollen Thinking-Budget rauszuhauen, lernt das Modell zu schätzen, wie schwer eine Frage ist. Einfache Fragen? Schnelle Antwort. Harte Mathe? Das Modell denkt länger nach. Klingt simpel, ist es aber nicht.
Die Forscher nutzen Self-Consistency als Signal. Das Modell prüft, wie sicher es bei einer Antwort ist — und allokiert Rechenleistung dynamisch.
So läuft das ab
- Schritt 1:** Modell bekommt Query
- Schritt 2:** Schätzt eigene Unsicherheit ein
- Schritt 3:** Wählt Thinking-Budget passend zur Komplexität
- Schritt 4:** Generiert Antwort — mit minimal nötiger Compute
Pro und Contra
✅ Pro
- Spart Rechenleistung bei einfachen Queries
- Skaliert Reasoning bei harten Problemen automatisch
- Im Latent Space — keine teuren Tokens für CoT nötig
❌ Con
- Selbst-Einschätzung von LLMs ist notorisch schief
- Apple-typisch: noch keine produktive Umsetzung in Sicht
- Self-Consistency braucht mehrere Sampling-Durchläufe
💡 Was das bedeutet
Compute-optimal Inference ist die nächste große Schlacht. OpenAI verbrennt mit o3 Millionen an Reasoning-Tokens. Apple zeigt einen Weg, wie Modelle smarter denken statt länger — das ist exakt der Hebel, den lokale On-Device-KI braucht.