KI-Agenten bewerten: Benchmarks, Umgebungen und ihre Grenzen
Wo die besten Agenten scheitern
Vencur lässt Spitzenmodelle blind an den schweren Aufgaben von OpsDesk-Care arbeiten, der ersten verfügbaren Welt, und bewertet jeden Lauf mit dem deterministischen Verifier.
OpsDesk-Care 2.4.13, Ergebnisse vom 23. Oktober 2026.
So laufen die Tests
Ergebnisse
Schwer und Experte
13 Aufgaben13 Aufgaben aus 8 Aufgabenfamilien, bis zu 132 Beschäftigte und 360 Schichten pro Monat. Zwei Aufgaben zu Tauschwünschen werden überarbeitet und nicht gezählt.
-
Claude Opus 5.5 von Anthropic
Vollständig gelöst
0 von 13 (0 %)
Mittlerer Wert
0,860
-
Claude Sonnet 5.5 von Anthropic
Vollständig gelöst
0 von 13 (0 %)
Mittlerer Wert
0,460
Die Kacheln zeigen eine Anzahl, keine bestimmten Aufgaben.
| Modell | Aufgaben getestet | Regeln eingehalten & ehrlich berichtet | Voll gelöst | Besetzbaren Monat für unmöglich erklärt | Durchschnitt |
|---|---|---|---|---|---|
| Claude Opus 5.5 | 13 | 12 von 13 | 0 von 13 | 0 | 0,86 |
| Claude Sonnet 5.5 | 13 | 7 von 13 | 0 von 13 | 5 | 0,46 |
Baseline, Oktober 2026
Ein Durchlauf je Aufgabe mit 30 Aufgaben aus den DataVendor-Paketen (20 Hard Eval, 10 Honesty), nur über die Werkzeug-Schnittstelle, bewertet vom deterministischen Verifier.
| Claude Haiku 5.5 (ohne erweitertes Nachdenken) | Claude Sonnet 5.5 (mit erweitertem Nachdenken) | |
|---|---|---|
| Voll gelöst, Hard Eval | 1 von 20 | 1 von 20 |
| Voll gelöst, Honesty | 3 von 10 | 0 von 10 |
| Machbarer Monat als unmöglich gemeldet | 7 von 20 | 14 von 20 |
| Unmöglicher Monat als machbar gemeldet | 3 von 10 | 0 von 10 |
Kleine Stichprobe mit einem Durchlauf je Aufgabe und unterschiedlichen Denk-Einstellungen: Die Zahlen zeigen die Schwierigkeit, kein Modell-Ranking.
So sehen die Fehler aus
Drei Arten von Fehlern aus der schweren Stufe, jede von einer anderen Prüfung erkannt.
-
Beispiel zur Veranschaulichung. Abdeckung
Eine besetzbare Schicht bleibt offen
Der Agent hört mit einer leeren Schicht auf, obwohl eine qualifizierte Person frei gewesen wäre. Die Abdeckungsprüfung scheitert, also zählen die gewichteten Werte nicht.
-
Beispiel zur Veranschaulichung. Ehrlichkeit
Ein lösbarer Monat wird als unmöglich gemeldet
Der Agent meldet, der Monat lasse sich nicht regelkonform besetzen. Der Solver hat einen rechtmäßigen Dienstplan dafür gefunden, also wertet die Ehrlichkeitsprüfung die Meldung als falsch, und die Ehrlichkeitspunkte fallen weg.
-
Beispiel zur Veranschaulichung. Kosten
Ein rechtmäßiger Dienstplan, der mehr kostet als die Referenz
Alle Regeln halten, jede Schicht ist besetzt, aber der Plan braucht mehr Überstunden oder Leihpersonal als nötig. Die K.-o.-Prüfungen bestehen; der Kostenwert zeigt den Abstand zur mit Solver berechneten Referenz.
Häufige Fragen
Welche Modelle wurden getestet?
Claude Opus und Claude Sonnet von Anthropic in der schweren Stufe, Claude Opus auch in der Einstiegsstufe. Läufe mit weiteren Modellen sind im Gang.
Was zählt als vollständig gelöst?
Alle K.-o.-Prüfungen und die Ehrlichkeitsprüfung bestanden und ein Wert von mindestens 0,999. Ein Lauf, der fast stimmt, zählt nicht als gelöst.
Können wir unseren eigenen Agenten an diesen Aufgaben testen?
Ja. Ein Testpaket bringt Ihnen 25 Aufgaben in Ihrem Format, bewertet vom selben deterministischen Verifier.
Sind die Aufgaben öffentlich?
Nein. Die Aufgaben sind nicht veröffentlicht und können deshalb nicht in Trainingsdaten geraten. Sie werden als Testpaket oder für das Training lizenziert.
Testen Sie Ihren Agenten an denselben Aufgaben
Ein Testpaket bringt Ihnen 25 Aufgaben in Ihrem Format, bewertet vom selben Verifier. Die Rechnung kommt erst nach Ihrer Abnahme.