NERDMANAgent Skills? Studie sagt: Bringt fast nix
34.000 Skills. Reale Bedingungen. Ernüchterndes Ergebnis. Eine neue Studie zerlegt den Hype um sogenannte Agent Skills — jene Erweiterungen, die KI-Agenten angeblich zu Fachexperten machen sollen.
Was getestet wurde
Forscher haben untersucht, ob KI-Agenten durch externe Skills tatsächlich besser arbeiten. Nicht mit zehn handverlesenen Demos, sondern mit 34.000 realen Skills unter praxisnahen Bedingungen. Das Ergebnis ist eindeutig — und für die Branche unbequem.
Zahlenbox
- 34.000** — getestete reale Agent Skills
- ~0%** — Leistungsgewinn bei starken Modellen
- Negativ** — Effekt bei schwächeren Modellen (Performance sinkt)
Was das bedeutet
Die gesamte Narrative „Gib dem Agenten Skills und er kann alles" wackelt. Starke Modelle profitieren kaum. Schwache Modelle werden durch die zusätzliche Komplexität sogar schlechter. Wer heute Agent-Plattformen baut, die auf Skill-Bibliotheken setzen, sollte seine Roadmap überdenken.
✅ Pro
- Studie liefert endlich harte Daten statt Marketing-Slides
- Fokus auf reale Skills, nicht auf Cherry-Picked-Demos
- Klare Warnung für Entwickler, die blind auf Skills setzen
❌ Con
- Branchen-Hype hat bereits Millionen in Skill-Marktplätze gepumpt
- Viele Startups haben ihr gesamtes Geschäftsmodell darauf gebaut
- Die Erkenntnis kommt für einige Investoren zu spät
Der Elefant im Raum
Die Idee klingt logisch: Ein Agent, der coden kann, plus ein Skill für Steuerrecht — fertig ist der KI-Steuerberater. In der Praxis scheitert es daran, dass Agenten mit mehr Kontext nicht automatisch bessere Entscheidungen treffen. Mehr Input heißt mehr Rauschen. Schwächere Modelle verlieren sich in den zusätzlichen Informationen, statt sie zu nutzen.
