NERDMAN26M-Parameter-GPT: Training kostet 3 Yuan
Ein Chinese hat ein komplettes LLM auf GitHub gestellt — und du kannst es in zwei Stunden selbst trainieren. Auf deiner eigenen GPU. Für umgerechnet 40 Cent.
Was MiniMind ist
Das Open-Source-Projekt „MiniMind" von Entwickler jingyaogong ist kein fertiges Produkt. Es ist eine Bauanleitung. Ein LLM mit nur 25,8 Millionen Parametern — das ist ein Siebentausendstel von GPT-3. Klein genug für jede Einsteiger-GPU.
Zahlenbox
- 25,8M** — Parameter des kleinsten Modells
- 1/7.000** — Größenverhältnis zu GPT-3
- 2 Stunden** — Trainingszeit von Null
- ~0,40€** — Gesamtkosten für einen Durchlauf
- 27K+ ⭐** — GitHub Stars (Trending)
Was alles drinsteckt
Das Repo deckt die komplette LLM-Pipeline ab — und zwar ohne Abstractions von Drittbibliotheken:
- Pretraining** von Grund auf mit PyTorch
- SFT** (Supervised Fine-Tuning)
- LoRA** für effizientes Finetuning
- DPO** (Direct Preference Optimization)
- RLAIF** mit PPO und GRPO
- Modell-Destillation**
- MoE** (Mixture of Experts) als Erweiterung
- MiniMind-V** — eine multimodale Vision-Variante
Alles from scratch in PyTorch geschrieben. Kein HuggingFace-Wrapper, kein Abstraktions-Dschungel.
✅ Pro
- Kompletter LLM-Lebenszyklus in einem Repo
- Absurd niedrige Hardware-Anforderungen
- Perfekt zum Lernen und Experimentieren
- Sauberer, nachvollziehbarer Code
❌ Con
- 26M Parameter taugen nicht für echte Anwendungen
- Dokumentation teilweise nur auf Chinesisch
- Kein wissenschaftlicher Durchbruch, reines Lehrprojekt
💡 Was das bedeutet
Wer verstehen will, wie ein LLM wirklich funktioniert — nicht über Blog-Posts, sondern durch eigenes Training — hat hier den kürzesten Weg. MiniMind ersetzt kein Informatik-Studium, aber es demokratisiert das Verständnis. Statt Black-Box-APIs aufzurufen, baust du die Box selbst.
