NERDMANKI soll KI erklären — mit Meta-Modellen
Ein Forscher auf LessWrong hat eine These: Statt KI-Modelle mühsam von Hand zu sezieren, sollten wir andere Modelle darauf trainieren, das Innenleben zu verstehen. Klingt nach Inception für Nerds.
Worum es geht
Mechanistische Interpretierbarkeit ist der aktuelle Goldstandard. Forscher zerlegen neuronale Netze in Schaltkreise, analysieren einzelne Neuronen, suchen nach Mustern. Das Problem: Es ist brutal langsam und skaliert miserabel.
Der Vorschlag: Meta-Modelle. Also Modelle, die speziell darauf trainiert werden, andere Modelle zu lesen. Die einfachste Variante sind lineare Probes — aber der Autor will deutlich weiter gehen.
Wie das funktionieren soll
- Stufe 1:** Lineare Probes — simple Klassifikatoren, die auf Aktivierungen eines Modells trainiert werden
- Stufe 2:** Nicht-lineare Meta-Modelle, die komplexere Zusammenhänge in Modell-Internals erkennen
- Stufe 3:** Meta-Modelle, die eigenständig erklären können, warum ein Modell eine bestimmte Entscheidung trifft
✅ Pro
- Könnte massiv skalieren — ein trainiertes Meta-Modell analysiert schneller als jeder Forscher
- Automatisierte Interpretierbarkeit wäre ein echter Durchbruch für AI Safety
- Ergänzt bestehende mechanistische Methoden statt sie zu ersetzen
❌ Con
- Rein theoretisch — keine neuen Ergebnisse, keine Benchmarks, kein Code
- Wer garantiert, dass das Meta-Modell selbst korrekt interpretiert?
- Das Vertrauensproblem verschiebt sich nur eine Ebene nach oben
💡 Was das bedeutet
Für AI Safety wäre automatisierte Interpretierbarkeit ein Riesenschritt. Aktuell können Forscher nur winzige Modell-Ausschnitte verstehen. Wenn Meta-Modelle funktionieren, könnten wir erstmals ganze Systeme durchleuchten — theoretisch. Praktisch fehlt jeder Beweis, dass das funktioniert.
