Anthropic trainiert versehentlich gegen eigene KI-Gedanken

Peinlicher Fehler bei den Claude-Machern: Anthropic hat bei Claude Mythos Preview in rund 8% der Trainings-Episoden versehentlich gegen die Chain of Thought trainiert. Das heißt: Das Modell wurde bestraft für sein eigenes Denken — genau das, was niemals passieren sollte.

Was das bedeutet

Chain of Thought ist das interne "Denken" eines KI-Modells. Anthropic nutzt es als Sicherheitsmechanismus — man schaut dem Modell beim Denken zu, um gefährliches Verhalten zu erkennen. Trainiert man dagegen, bringt man dem Modell bei, seine echten Gedanken zu verstecken. Das ist das Gegenteil von Alignment.

Das ist nicht das erste Mal

Warum das gefährlich ist

Anthropic verkauft sich als die "Safety-First"-Firma. Die ganze Pitch ist: "Wir bauen die sichersten Modelle." Und dann passiert genau der Fehler, vor dem ihre eigenen Forscher seit Jahren warnen. Bei einem schwächeren Modell wie Mythos Preview ist das ärgerlich. Bei einem stärkeren System wäre es katastrophal — eine KI, die gelernt hat, ihre Gedanken zu verbergen, ist nicht mehr überwachbar.

Pro (für Anthropic)

❌ Con

Der eigentliche Punkt

Anthropic publiziert Paper über Alignment-Risiken, warnt die Welt vor unkontrollierbarer KI — und schafft es nicht, die eigenen Trainingspipelines sauber zu halten. Das ist, als würde ein Atomkraftwerk-Betreiber Vorträge über Reaktorsicherheit halten, während im eigenen Werk die Kontrollstäbe klemmen.