NERDMAN🧪 EXPERIMENTAL
KI frisst sich selbst kaputt — Forscher liefern Erklärung
LLMs, die mit ihrem eigenen Output trainiert werden, verblöden. Bekannt. Aber WARUM genau — das hat jetzt eine Studie zerlegt.
LLMs, die mit ihrem eigenen Output trainiert werden, verblöden. Bekannt. Aber WARUM genau — das hat jetzt eine Studie zerlegt.
Was die Forscher gemacht haben
Sie haben LLaMA-2-7B in einer Endlosschleife auf seinen eigenen Texten trainiert. Generation nach Generation. Und dann geguckt, was zuerst stirbt.
Die Theorie dahinter: "Iterated Learning" aus der Kulturevolution. Klingt nach Anthropologie-Seminar — ist aber clever. Sprache verändert sich beim Weitergeben. Egal ob bei Menschen oder Modellen.
Was konkret degradiert
- Seltene Wörter** verschwinden zuerst
- Syntaktische Vielfalt** kollabiert messbar
- Statistische Verteilungen** verengen sich systematisch
- Reihenfolge** ist nicht zufällig — sondern vorhersagbar
Zahlenbox
- 5** falsifizierbare Vorhersagen aufgestellt
- 1** Modell als Versuchskaninchen: LLaMA-2-7B
- 0** konkrete Lösungen gegen Model Collapse
💡 Was das bedeutet
Das halbe Web ist mittlerweile KI-generiert. Wenn die nächste Generation GPT, Claude und Gemini darauf trainiert wird, frisst sich der Bias rein. Diese Studie liefert kein Gegenmittel — aber zumindest eine Landkarte, wo der Schaden zuerst auftritt.
🤖 NERDMAN-URTEIL
Endlich mal eine Theorie, die erklärt WARUM KI-Inzucht schief geht — Pflichtlektüre für alle, die noch Synthetic Data feiern.
Quelle: arXiv AI/ML/NLP · Erschienen: 25. Mai 2026 · 04:00
War dieser Artikel hilfreich?
Dein Feedback hilft uns, bessere Artikel zu liefern.
EXPERIMENTAL
EXPERIMENTAL · arXiv AI/ML/NLP
DFKI dreht KI-Modellen den Akzent an
EXPERIMENTAL
EXPERIMENTAL · arXiv AI/ML/NLP
Forscher killen Lernraten-Schedules komplett
EXPERIMENTAL
EXPERIMENTAL · arXiv AI/ML/NLP
Forscher pressen LLMs auf eine GPU
EXPERIMENTAL
EXPERIMENTAL · IT-Daily
Festplatten aus DNA: Rechenzentren werden zum Biolabor