NERDMANTransformer löst Sudoku nur mit Gedächtnis
Ein einzelner Transformer-Block, der sich selbst in Schleife aufruft — und trotzdem komplexe Rätsel knackt. Klingt nach Magie. Ist aber Mathe. Und ein Paper, das zeigt: Ohne Memory-Tokens geht gar nichts.
Was hier untersucht wurde
Forscher haben einen Universal Transformer (UT) auf "Sudoku-Extreme" losgelassen. Das ist kein normales Sudoku, sondern ein kombinatorischer Reasoning-Benchmark. Der Clou: Der Transformer besteht aus nur einem einzigen Block, der sich rekursiv selbst aufruft — mit variabler Tiefe dank Adaptive Computation Time (ACT).
Die zentrale Erkenntnis
Ohne sogenannte Memory-Tokens schafft das Modell nichts. Null. Kein einziges nicht-triviales Ergebnis. Egal welche Konfiguration: 3 Seeds, verschiedene Token-Anzahlen, zwei Initialisierungs-Schemata, feste Tiefe oder ACT — ohne Gedächtnis ist der Transformer blind.
💡 Was das bedeutet
Memory-Tokens funktionieren wie ein externer Notizzettel für das Modell. Statt alles im Forward-Pass zu lösen, kann der Transformer Zwischenergebnisse ablegen und später wieder abrufen. Das Paper zeigt einen klaren Trade-off: Mehr Gedächtnis kann fehlende Rechentiefe kompensieren — und umgekehrt. Wer KI-Architekturen baut, muss diesen Zusammenhang verstehen.
✅ Pro
- Sauberes experimentelles Design mit klaren Ergebnissen
- Zeigt fundamentalen Mechanismus, nicht nur Benchmark-Chasing
- Relevant für effizientere Modell-Architekturen
❌ Con
- Rein akademisch — kein Tool, kein Release, keine Demo
- Nur auf einem Benchmark getestet (Sudoku-Extreme)
- Praktische Übertragbarkeit auf große LLMs unklar