NERDMANKI-Training soll wie Entstehung des Lebens funktionieren
Ein neues Paper auf LessWrong behauptet: Neuronale Netze durchlaufen beim Training denselben Prozess wie die Entstehung von Leben. Klingt wild. Ist es auch.
Die These in kurz
Gradient Descent — also wie KI-Modelle lernen — sei "strukturell analog" zur Entstehung des Lebens in alkalischen Hydrothermalquellen. Externer Optimierungsdruck werde Schritt für Schritt internalisiert. Am Ende optimiert sich das Netz quasi selbst. Die Autoren nennen das: Internalisierung von Gradienten.
Was steckt dahinter?
- Symmetrie-Internalisierung:** Muster aus den Trainingsdaten werden zu festen Strukturen im Netz
- Self-reinforcing Pathway Selection:** Einmal gefundene Lösungswege verstärken sich selbst — wie chemische Reaktionsketten in der Ursuppe
- Mesa-Optimizer:** Das Endprodukt ist ein Netz, das eigene interne Optimierungsziele entwickelt — genau das, wovor AI-Safety-Forscher warnen
✅ Pro
- Verbindet Thermodynamik, Biologie und ML-Theorie zu einem einheitlichen Framework
- Stützt sich auf echte Trainingsdynamiken, nicht nur Philosophie
- Relevanz für AI Safety: Mesa-Optimizer sind ein reales Risiko
❌ Con
- Keine Demo, kein Experiment, kein Benchmark
- Rein theoretisch — die Analogie zum Ursprung des Lebens ist genau das: eine Analogie
- LessWrong-Post, kein Peer-Review
💡 Was das bedeutet
Mesa-Optimizer — also KI-Systeme, die eigene Ziele entwickeln — sind eines der Kernprobleme in der AI-Safety-Forschung. Wenn dieses Framework stimmt, hätten wir ein besseres Modell dafür, wann und warum solche internen Optimierer entstehen. Aber: Zwischen "interessanter Denkrahmen" und "nachgewiesenem Mechanismus" liegen noch ein paar Beweise.
