Forscher bauen besseren KI-Lügendetektor

Zwei MATS-Stipendiaten haben den sogenannten Activation Oracle (AO) deutlich aufgebohrt. Ziel: in die Aktivierungen eines Sprachmodells reinhorchen und rauskriegen, was es wirklich "denkt".

Was ist ein Activation Oracle?

Ein AO ist ein Trainings-Trick, der einem Modell beibringt, seinen eigenen inneren Zustand in Worte zu fassen. Du injizierst Aktivierungen aus Layer X — das Modell sagt dir, was da drin steckt. Klingt nach Magie, ist aber Mechanistic Interpretability.

Die vier Verbesserungen

✅ Pro

❌ Con

💡 Was das bedeutet

Wenn AOs irgendwann wirklich funktionieren, könnten wir Modelle auf Lügen, versteckte Ziele und Sandbagging prüfen. Das ist die unsexy Vorarbeit, die AI Safety in den nächsten Jahren ernst nehmen muss. AObench gibt der Szene endlich ein einheitliches Maß.