Aurora killt das Neuron-Sterben in Muon

Tilde Research hat einen neuen Optimizer veröffentlicht. Er repariert einen versteckten Fehler, der bisher tausende Neuronen während des Trainings stillgelegt hat.

Was konkret passiert ist

Der Muon-Optimizer ist beim Pretraining beliebt geworden. Doch er hat ein Problem: Ein Teil der MLP-Neuronen stirbt schon früh ab — und bleibt für immer tot. Aurora erkennt das, gewichtet Updates dynamisch und hält die Neuronen am Leben.

Zahlenbox

✅ Pro

❌ Con

💡 Was das bedeutet

Wenn Aurora hält was es verspricht, sparen Trainings-Runs bares Geld — tote Neuronen sind verbrannte Compute. Für jeden, der eigene Modelle trainiert, lohnt der Blick in den Code. Für den Rest: spannender Hinweis, wie viel Optimizer-Forschung noch übrig ist.