NERDMANRaschka vergleicht alle LLM-Architekturen auf einen Blick
Sebastian Raschka hat seinen massiven Architektur-Vergleich großer Sprachmodelle aktualisiert. Von GPT-2 bis DeepSeek V3 und Llama 4 — alles in einer Übersicht. Neu dabei: Nemotron 3 Super von NVIDIA.
Die ehrliche Erkenntnis des Vergleichs: Nach sieben Jahren sehen die Modelle strukturell erschreckend ähnlich aus. Klar, RoPE hat absolute Positional Embeddings ersetzt, Grouped-Query Attention dominiert über Multi-Head Attention, SwiGLU ist Standard. Aber das Grundgerüst? Immer noch Transformer.
Raschka ist einer der wenigen, der das nüchtern aufschlüsselt statt aufzublasen. Sein Vergleich zeigt Schicht für Schicht, welches Modell welche Bausteine nutzt — und wo sich die echten Unterschiede verstecken. Für Entwickler, die Architekturen verstehen wollen statt Marketing-Slides zu lesen, ist das Pflichtlektüre.
Der Vergleich macht auch klar: Die großen Sprünge kommen nicht mehr aus der Architektur. Sie kommen aus Daten, Training, Infrastruktur und Mixture-of-Experts-Tricks. Wer nur auf neue Layer-Typen wartet, wartet auf den falschen Zug.
