NERDMANKönnen LLMs wirklich Mathe — oder nur abschreiben?
Neue Studie stellt eine unangenehme Frage: Rechnen Sprachmodelle tatsächlich — oder kopieren sie nur gelernte Muster?
Das Problem mit bisherigen Tests
Jeder Benchmark testet Mathe mit bekannten Formeln, Notationen und Konventionen. GPT-4, Claude, Gemini — alle liefern starke Ergebnisse. Aber die Modelle wurden mit genau diesen Aufgabentypen trainiert. Ob sie mathematische Konzepte wirklich verstehen, weiß niemand.
Was die Forscher anders machen
Das Paper "Math Takes Two" dreht den Spieß um. Statt Standard-Aufgaben müssen Modelle abstrakte mathematische Konzepte von Grund auf kommunizieren — ohne bekannte Notation, ohne eintrainierte Konventionen.
- Methode:** Zwei KI-Agenten müssen sich über mathematische Strukturen verständigen — ohne vorher eine gemeinsame Sprache zu haben
- Ziel:** Testen, ob Modelle Konzepte aus ersten Prinzipien aufbauen können
- Kernfrage:** Echtes Reasoning oder nur Pattern Matching über formale Syntax?
💡 Was das bedeutet
Wenn ein Modell 92% auf MMLU schafft, heißt das erst mal nichts über echtes Verständnis. Es könnte einfach Muster aus den Trainingsdaten reproduzieren. Dieser Test zwingt Modelle, mathematisch zu denken statt zu erinnern. Das ist ein grundlegend anderer Anspruch.
✅ Pro
- Testet tatsächlich Reasoning statt Auswendiglernen
- Neuer Ansatz: Kommunikation als Prüfstein
- Entlarvt potenzielle Schwächen hinter guten Benchmark-Scores
❌ Con
- Rein akademisch, kein fertiges Evaluierungs-Tool
- Noch unklar, wie reproduzierbar die Ergebnisse sind
- Kein direkter Vergleich der großen Modelle veröffentlicht
