Nvidia hat eine neue Pretraining-Methode vorgestellt: KI-Modelle lernen jetzt in nur 4 Bit statt der üblichen 8. Validiert wurde das Ganze an einem 12-Milliarden-Parameter-Monster ...
Sam Altman hat intern ein neues KI-Modell angekündigt. Codename: "Spud". Das Pretraining ist abgeschlossen — und Altman dreht am Hype-Regler.
Ein neues Paper auf arXiv stellt FuRA vor — eine Fine-Tuning-Methode, die LoRA alt aussehen lassen will. Der Trick: Spektrale Vorkonditionierung statt blinder Gewichts-Updates.
Elon Musks KI-Firma xAI hat monatelang Anthropics Claude angezapft, um die eigene Konkurrenz zu trainieren. Selbst nach der Zugangssperre ging das Spiel über Privat-Accounts und ...
Neues Paper auf arXiv verspricht Skalierung für Time-Series-Modelle. Der Name: Unicorn. Der Anspruch: groß.
Ein Interpretability-Experiment auf LessWrong jagt Gemmas Aktivierungen durch einen "Verbalizer" — und schaut, wo das Modell sich selbst widerspricht.
Tilde Research hat einen neuen Optimizer veröffentlicht. Er repariert einen versteckten Fehler, der bisher tausende Neuronen während des Trainings stillgelegt hat.
Microsoft hat auf der Build-Konferenz sieben neue MAI-Modelle vorgestellt, darunter das Reasoning-Modell MAI-Thinking-1. Satya Nadella und Mustafa Suleyman haben das Line-up ...
Ein neues Paper auf arXiv schlägt ein Framework vor, das die Länge von KI-Antworten auf Token-Ebene vorhersagt. Klingt nerdig — könnte aber Inferenz-Kosten massiv drücken.
Forscher haben ein KI-Modell gebaut, das komplexe Reservoir-Simulationen lernt — ohne dass man ihm erst Millionen teurer Simulationsergebnisse füttern muss.
Apple hat ein neues Forschungspaper vorgelegt. Thema: Wie man aus einem großen Sprachmodell mehrere spezialisierte Modelle macht — effizienter als bisher.
Ein Chinese hat ein komplettes LLM auf GitHub gestellt — und du kannst es in zwei Stunden selbst trainieren. Auf deiner eigenen GPU. Für umgerechnet 40 Cent.
PyTorch hat ein neues Open-Source-Framework auf GitHub gedroppt: OpenEnv. Damit sollen Entwickler isolierte Umgebungen bauen, in denen LLMs per Reinforcement Learning zu Agenten ...