NERDMANChroma baut eigenes 20B-Modell für RAG
Lange Context Windows lösen das Retrieval-Problem nicht. Chroma sagt: Wir brauchen ein eigenes Modell dafür — und liefert eins.
Das Produkt
Context-1 ist ein 20-Milliarden-Parameter-Modell, speziell gebaut für agentic Search. Kein General-Purpose-LLM, kein Chatbot. Ein Suchmodell, das Multi-Hop Retrieval beherrscht — also Informationen über mehrere Dokumente hinweg verknüpfen kann.
Zahlenbox
- 20 Mrd.** — Parameter des Modells
- Multi-Hop** — Retrieval über mehrere Quellen
- Synthetisch** — eigene Task-Generierung für Training
Warum das existiert
Die Branche wirft seit zwei Jahren mit immer größeren Context Windows um sich. Eine Million Tokens hier, zwei Millionen dort. Chromas These: Das ist der falsche Weg. Wer eine Million Tokens in den Prompt stopft, bekommt höhere Latenz, explodierende Kosten und das berüchtigte "Lost in the Middle"-Problem. Das Modell vergisst schlicht, was in der Mitte steht.
✅ Pro
- Spezialisiertes Modell statt Allzweck-LLM
- Multi-Hop Retrieval für komplexe Abfragen
- Context Management als eigene Disziplin behandelt
❌ Con
- 20B ist relativ klein — Leistungsgrenzen unklar
- Chroma ist kein großes Lab mit Frontier-Ressourcen
- Benchmarks und unabhängige Tests fehlen noch
Was das bedeutet
Für alle, die RAG-Systeme bauen, ist das ein interessanter Ansatz. Statt dem LLM alles auf einmal reinzudrücken, übernimmt ein spezialisiertes Modell die Vorarbeit. Das könnte Kosten senken und die Qualität der Ergebnisse verbessern — wenn es hält, was Chroma verspricht. Noch fehlen harte Zahlen von Dritten.
