NERDMANKI-Agenten müssen jetzt die Zukunft vorhersagen
Together AI hat einen neuen Benchmark vorgestellt, der KI-Agenten vor eine brutale Aufgabe stellt: echte Ereignisse vorhersagen, bevor sie passieren. Kein Auswendiglernen, kein Schummeln.
Was FutureBench anders macht
Bisherige Benchmarks haben ein fettes Problem: Die Antworten stehen längst im Trainingsmaterial. FutureBench dreht den Spieß um. Der Benchmark ist live — die Fragen beziehen sich auf Ereignisse, die noch nicht eingetreten sind.
- Themen:** Zinsentscheidungen, Geopolitik, reale Weltereignisse
- Trick:** Leak-free — kein Modell kann die Antwort aus alten Daten fischen
- Ansatz:** Agenten müssen recherchieren, abwägen, prognostizieren
Warum das wichtig ist
Jeder Chatbot kann Wikipedia zusammenfassen. Aber eine Prognose abgeben, die sich in Wochen als richtig oder falsch herausstellt? Das trennt echtes Reasoning von besserer Autovervollständigung.
Together AI setzt damit ein Statement: Wer behauptet, sein Agent könne „denken", soll es beweisen — mit Vorhersagen, die man überprüfen kann. Keine Laborbedingungen, keine aufgewärmten Testfragen.
Das Problem bleibt
Ein Benchmark allein macht noch keinen schlauen Agenten. Und ob Prognose-Fähigkeit wirklich „Intelligenz" misst oder nur gute Statistik — darüber werden sich die Forscher noch die Köpfe einschlagen.
