NERDMANForscher röntgen KI-Augen mit Transcoders
Neue Methode soll endlich zeigen, wie Vision-Language-Modelle Bilder in Worte übersetzen — und warum sie dabei halluzinieren.
Worum geht's konkret
Generative Vision-Language-Modelle (VLMs) liefern starke Ergebnisse beim multimodalen Reasoning. Aber niemand weiß genau, was im Inneren passiert, wenn aus Pixeln Text wird. Bisherige Interpretierbarkeits-Tools nutzen Sparse Autoencoders (SAEs) — und übersehen dabei die entscheidenden funktionalen Updates zwischen den Modalitäten.
Der neue Ansatz
Die Forscher setzen auf Transcoders: sparse Approximationen von MLP-Sublayern. Anders als SAEs zerlegen sie nicht nur statische Residuen, sondern bilden die tatsächliche Funktion ab, die Visual Grounding und Halluzinationen erzeugt.
✅ Pro
- Funktions-zentrierter Blick statt statischer Snapshot
- Kann Halluzinationen mechanistisch nachverfolgen
- Erweitert klassische SAE-Methodik sinnvoll
❌ Con
- Reine Forschung, kein Tool, kein Demo
- Niedrige Praxisrelevanz für Builder
- Noch keine bewährte Anwendung außerhalb des Papers
💡 Was das bedeutet
Wenn Transcoders halten, was sie versprechen, könnten wir bald nachvollziehen, warum ein VLM "Katze" schreibt, obwohl ein Hund im Bild ist. Für Safety- und Eval-Teams ist das relevant. Für alle anderen: Geduld.
