NERDMANTurbovec schlägt FAISS — mit 4 GB RAM
Ein Solo-Entwickler legt einen Vector-Index hin, der Facebooks Industrie-Standard FAISS abhängt. Geschrieben in Rust, mit Python-Bindings. Heißes Ding auf GitHub Trending.
Was Turbovec eigentlich ist
Turbovec ist ein Vector-Index, der auf Googles TurboQuant-Algorithmus aufsetzt. Kein Codebook-Training, keine Trainings-Phase. Vektoren werden online indexiert, sobald sie reinkommen.
Klingt unspektakulär? Ist es nicht. Schau auf die Zahlen.
- 31 GB → 4 GB:** RAM-Bedarf für 10 Mio. Dokumente
- 8×:** Kompression gegenüber float32
- Schneller als FAISS:** auf demselben Korpus
- 0 Sekunden:** Trainings-Phase
Wie das technisch funktioniert
TurboQuant ist ein data-obliviousQuantizer aus Google Research. Er trifft die Shannon-Untergrenze für Verzerrung — das mathematische Minimum an Informationsverlust beim Komprimieren.
Heißt im Klartext: Du verlierst kaum Genauigkeit, sparst aber massiv Speicher. Und du musst dein Modell nicht erst auf deinen Daten trainieren wie bei klassischen Quantizern.
✅ Pro
- Online-Ingest ohne Train-Step
- 8× weniger RAM bei vergleichbarer Qualität
- Rust-Performance unter Python-API
- Open Source auf GitHub
❌ Con
- Solo-Projekt, keine Major-Lab-Backing
- Benchmarks vom Autor, noch keine unabhängige Validierung
- Ökosystem (Integrationen, Tooling) noch dünn
💡 Was das bedeutet
Wer RAG-Systeme oder Semantic Search betreibt, zahlt sich an Vector-Storage dumm und dämlich. Turbovec könnte Cloud-Kosten um 80 Prozent drücken — wenn die Zahlen unter Last halten. Für Indie-Devs und kleine Teams ist das ein echter Hebel.