NERDMAN🧪 EXPERIMENTAL
Forscher messen KI-Ähnlichkeit ohne einen einzigen Input
Ein neues Verfahren vergleicht neuronale Netze allein anhand ihrer Gewichte. Kein Datensatz nötig, keine Inferenz, keine Benchmarks.
Ein neues Verfahren vergleicht neuronale Netze allein anhand ihrer Gewichte. Kein Datensatz nötig, keine Inferenz, keine Benchmarks.
Was die Forscher behaupten
Das Team auf LessWrong schlägt eine Methode vor, die zwei Netzwerke vergleicht — über ALLE möglichen Inputs hinweg. Grundlage ist eine Verallgemeinerung der Cosine-Similarity, übertragen auf Tensoren. Klingt mathematisch, ist es auch.
“
Wir haben eine Methode gefunden, die dir sagt: Wie funktional ähnlich zwei neuronale Netze über ALLE Inputs sind — berechnet allein aus den Gewichten.— Autoren des LessWrong-Posts
Wie das funktioniert
- Basis:** Tensor-Network-Variante eines Transformers
- Input-Bedarf:** keiner. Nur die Weights.
- Mathematik:** Lineare Algebra, übertragen auf höherdimensionale Tensoren
- Ziel:** Mechanistic Interpretability — also verstehen, was im Modell wirklich passiert
✅ Pro
- Daten-frei, also unabhängig von Trainings-Verteilung
- Mathematisch sauber begründet, nicht heuristisch
- Direkt anwendbar auf Interpretability-Forschung
❌ Con
- Funktioniert NUR mit Tensor-Networks, nicht mit Standard-Transformern
- Kein Code-Release, kein Demo, kein Download
- Praktischer Nutzen außerhalb der Forschung: unklar
💡 Was das bedeutet
Wenn Interpretability-Forscher zwei Modelle vergleichen wollen, brauchen sie bisher Eval-Datensätze und teure Inferenz-Läufe. Diese Methode würde das überflüssig machen — vorausgesetzt, dein Modell ist als Tensor-Network gebaut. Genau da liegt der Haken.
🤖 NERDMAN-URTEIL
Schöne Mathe, harte Bedingung — solange niemand seine Produktions-Modelle als Tensor-Networks trainiert, bleibt das ein Whiteboard-Sieg.
Quelle: LessWrong
War dieser Artikel hilfreich?
Dein Feedback hilft uns, bessere Artikel zu liefern.
EXPERIMENTAL
EXPERIMENTAL · Towards Data Science
Forscher entrauschen das KI-Richter-Problem
EXPERIMENTAL
EXPERIMENTAL · LessWrong
KI malt Porträts für 19.023 Gene
EXPERIMENTAL
EXPERIMENTAL · Towards AI
KI auf dem Schlachtfeld: Knowledge Graphs treffen LLMs
EXPERIMENTAL
EXPERIMENTAL · GitHub Trending Python
Forscher bauen Open-Source-Plattform für World Models