NERDMANAletheia macht LoRA-Finetuning endlich schlau
Forscher haben aufgehört, bei LoRA einfach blind jeden Layer zu bekleben. Aletheia wählt per Gradient-Probe nur die Layer aus, die für die Aufgabe wirklich zählen — der Rest bleibt unangetastet.
Das Problem mit Standard-LoRA
LoRA ist der Goldstandard für Parameter-effizientes Finetuning. Adapter rein, ein paar Millionen Parameter trainieren, fertig. Aber: Jeder Transformer-Layer bekommt denselben Adapter — egal ob er für die Aufgabe relevant ist oder nicht. Das ist wie jeden Raum im Haus zu renovieren, wenn nur die Küche einen neuen Anstrich braucht.
Wie Aletheia funktioniert
- Schritt 1:** Ein leichtgewichtiger Gradient-Probe scannt alle Layer des Modells
- Schritt 2:** Aletheia identifiziert, welche Layer für den Downstream-Task am relevantesten sind
- Schritt 3:** LoRA-Adapter werden nur auf diese Layer angewandt — asymmetrisch statt uniform
- Schritt 4:** Der Rest des Modells bleibt komplett unberührt
✅ Pro
- Weniger Parameter, weniger Rechenzeit, weniger Geld
- Funktioniert architekturübergreifend — nicht auf ein Modell beschränkt
- Gradient-Probe ist leichtgewichtig, kein teures Vortraining nötig
❌ Con
- Kommt aus der Forschung, kein fertiges Tool zum Installieren
- arXiv-Paper ohne Peer Review — die Zahlen sind noch nicht extern validiert
- Unklar, wie groß der Vorteil bei wirklich großen Modellen (100B+) ausfällt
💡 Was das bedeutet
Wer heute LoRA nutzt — und das sind fast alle, die Open-Weight-Modelle finetunen — verschwendet systematisch Compute auf irrelevante Layer. Aletheia zeigt einen Weg, das chirurgisch zu lösen. Wenn sich die Ergebnisse halten, wird "uniform LoRA auf alle Layer" in einem Jahr so veraltet wirken wie Full Finetuning heute.
