NERDMANDeepSeek gibt LLMs ein neues Gedächtnis
DeepSeek hat ein neues Open-Source-Repo veröffentlicht: Engram. Die Idee dahinter: Large Language Models brauchen neben Mixture-of-Experts eine zweite Spar-Achse — und die heißt "Conditional Memory".
Was Engram macht
Transformer-Modelle haben kein eingebautes System für gezielten Wissens-Lookup. MoE löst das Problem der bedingten Berechnung, aber nicht das der bedingten Erinnerung. Engram schließt diese Lücke.
Das Konzept: Ein skalierbarer Lookup-Mechanismus, der wie ein Langzeitgedächtnis funktioniert. Das Modell aktiviert nur die Memory-Slots, die für den aktuellen Input relevant sind. Der Rest bleibt stumm.
💡 Was das bedeutet
MoE war bisher der einzige Trick, um Modelle größer zu machen ohne proportional mehr Rechenleistung zu brauchen. Engram eröffnet eine komplett neue Dimension. Statt nur Experten-Netzwerke bedingt zu aktivieren, wird jetzt auch der Wissensspeicher selbst bedingt — das ist ein fundamentaler Architektur-Shift.
Fakten
- Lab:** DeepSeek — das Team hinter DeepSeek-V3 und R1
- Methode:** Conditional Memory via Scalable Lookup
- Ansatz:** Neue Sparsity-Achse, komplementär zu MoE
- Status:** Paper + offizielle Implementierung auf GitHub
- Lizenz:** Open Source
📅 Timeline
- 2024:** DeepSeek-V2 zeigt, dass MoE mit Multi-Head Latent Attention kombinierbar ist
- 2025:** DeepSeek-V3 und R1 dominieren Open-Weight-Benchmarks
- 2026:** Engram geht einen Schritt weiter — weg von reiner MoE-Skalierung, hin zu bedingtem Gedächtnis
Warum das aus China kommt
DeepSeek liefert seit zwei Jahren systematisch ab. Während OpenAI und Anthropic ihre Architekturen hinter geschlossenen Türen weiterentwickeln, publiziert DeepSeek Paper und Code. Engram ist der nächste Beweis: Die interessanteste LLM-Forschung passiert gerade nicht in San Francisco.
