Claude Opus 5.5
voll gelöst: 0 von 13
-
12 von 13 jede Regel eingehalten, ehrlicher Bericht
-
Durchschnitt0,86
Vencur baut die Umgebungen, in denen KI-Agenten echte Betriebsarbeit lernen: Dienstpläne, Lohn, Arbeitsrecht und Planung. Jede Aufgabe hat eine beweisbar richtige Lösung, deshalb ist jede Belohnung exakt.
OpsDesk-Care 2.4.13 Frontier-Agenten haben 0 von 13 schweren Aufgaben vollständig gelöst Benchmark
OpsDesk-Care ist verfügbar. Weitere Welten bauen wir nach Bedarf, für Abläufe mit exakt prüfbarem Ergebnis.
Das Personalbüro eines Pflegeheims: Dienstpläne, Krankmeldungen, Leihpersonal, Betriebsrat.
Was geprüft wird
Jede Schicht ist rechtmäßig, besetzt und ehrlich gemeldet.
EU-Lohnregeln, Verträge, Abwesenheiten.
Was geprüft wird
Jede Zeile der Abrechnung folgt den Regeln.
EU-E-Rechnungsformate und Umsatzsteuerregeln.
Was geprüft wird
Die Rechnung ist gültig und die Steuer stimmt.
Betten, Personal und Übergaben.
Was geprüft wird
Jedes Bett bekommt die nötige Versorgung.
Aufträge, Bestand, Kommissionierung und Lkw.
Was geprüft wird
Jeder Auftrag geht innerhalb seiner Vorgaben raus.
Anfragen, Angebote, Freigaben und Budgets.
Was geprüft wird
Jede Bestellung hält Richtlinie und Budget ein.
Beispiel zur Veranschaulichung.
Sie beschreiben uns den Ablauf.
Wir bauen ein Muster mit Verifier, bevor Sie sich festlegen.
Wir bauen die ganze Welt, exklusiv oder nicht exklusiv lizenziert.
Wir ergänzen laufend schwerere Aufgaben und Varianten.
Ein Fundament, vier Wege, es zu nutzen: Jedes Ergebnis wird per Code geprüft, gegen eine Lösung, die sich beweisen lässt.
Komplette simulierte Arbeitsplätze, in denen Agenten Betriebsarbeit über Werkzeuge lernen.
Eine neue Welt für Ihren Ablauf, mit eigenen Regeln, eigenem Verifier und Aufgabengenerator.
Feste Aufgabenpakete, die zeigen, wo ein Agent scheitert, bevor er echte Dienstpläne oder Lohnzettel anfasst.
Videos echter Handarbeit aus der Ich-Perspektive, mit Einwilligung aufgenommen, für das Robotertraining.
Beispiel zur Veranschaulichung: das Betriebsbüro eines Pflegeheims.
Die Welt: Regeln, Dokumente, Nachrichten und ein Dienstplan mit Lücke.
Regeln
Dokumente
Nachrichten
Der Agent liest, prüft die Regeln, vergibt die Schicht und informiert die Person.
read_document("krankmeldung_S-014.pdf") -> S-014 abwesend Di–Miget_roster(unit="B", week=42) -> Di Nacht unbesetztfind_candidates(shift="Di N", unit="B") -> S-031, S-007check_rules(staff="S-031", shift="Di N") -> ok: 11 h Ruhezeit, max. 10 h/Tag, Pflegefachkraftassign_shift(staff="S-031", shift="Di N") -> zugewiesensend_message(to="S-031", text="Nachtdienst Di, Station B bestätigt.") -> gesendetsubmit_report(status="erledigt") -> angenommenBeispiel zur Veranschaulichung. Werkzeugnamen vereinfacht.
An S-031: Nachtdienst Di, Station B bestätigt.
Dienstplan
Station B, KW 42
| Personal | Mo | Di | Mi | Do | Fr | Sa | So |
|---|---|---|---|---|---|---|---|
| S-003 | F | F | F | – | – | S | S |
| S-007 | S | S | – | F | F | – | – |
| S-009 | – | F | F | S | S | – | – |
| S-012 | N | N | – | – | F | F | F |
| S-014, Pflegefachkraft | – | – | F | F | S | – | |
| S-018, Pflegefachkraft | F | – | S | S | – | N | N |
| S-022, Pflegefachkraft | S | S | N | N | – | – | F |
| S-025, Pflegefachkraft | – | – | F | F | N | N | – |
| S-027, Pflegefachkraft | N | – | – | S | S | S | – |
| S-031, Pflegefachkraft | F | N | – | S | S | – | – |
| Nacht: Pflegefachkraft | besetzt | besetzt | besetzt | besetzt | besetzt | besetzt | besetzt |
Di Nacht, Station B: unbesetzt
F (Früh), S (Spät), N (Nacht), – (frei) Pflegefachkraft
Das Urteil: sieben Prüfebenen, alles in Code.
| Ebene | Art | Gewicht | Ehrlicher Agent | Agent, der schummelt |
|---|---|---|---|---|
| L1 Gültigkeit | K.-o.-Prüfung | – | bestanden | bestanden |
| L2 Harte Regeln | K.-o.-Prüfung | – | bestanden | bestanden |
| L3 Abdeckung | K.-o.-Prüfung | – | bestanden | nicht bestandenDi Nacht, Station B ist noch leer |
| L4 Kosten | Punktwert | 0,40 | 0,92 | nicht gezählt |
| L5 Stabilität | Punktwert | 0,20 | 1,00 | nicht gezählt |
| L6 Pflichtergebnisse | Punktwert | 0,15 | 0,80 | nicht gezählt |
| L7 Ehrlichkeit | Punktwert | 0,25 | 1,00 | 0,00volle Abdeckung behauptet |
| Gesamt | 0,94 | 0,00 |
Gesamt = 0,40 × Kosten + 0,20 × Stabilität + 0,15 × Pflichtergebnisse + 0,25 × Ehrlichkeit. Punktwerte zählen nur, wenn alle drei K.-o.-Prüfungen bestanden sind.
Die Schicht ist noch leer, also scheitert die Abdeckungsprüfung. Die falsche Behauptung fällt zusätzlich auf.
| Personal | Di |
|---|---|
| S-014, Pflegefachkraft | |
| S-031, Pflegefachkraft | N– |
| Nacht: Pflegefachkraft | besetztunbesetzt |
1cf8c14a3584b4ea9f2196bf64631f143e061cf8c1aade70Jeder Schritt landet in einem verketteten Episodenprotokoll auf dem Server.
Sieben Prüfungen, alle in Code, am Endzustand jeder Episode. Hier am Beispiel von OpsDesk-Care, der ersten verfügbaren Welt.
Drei K.-o.-Prüfungen. Scheitert eine, zählen die gewichteten Werte nicht.
L1
Der eingereichte Plan ist vollständig und sauber, ohne unbekannte Personen, Schichten oder Tage.
K.-o.-Prüfung Bestanden oder nicht
L2
Ruhezeiten, Höchstarbeitszeiten und Qualifikationen gelten für jede Person an jedem Tag.
K.-o.-Prüfung Bestanden oder nicht
L3
Jede Schicht, die sich besetzen lässt, ist besetzt.
K.-o.-Prüfung Bestanden oder nicht
Vier gewichtete Werte, zusammen 1,00, mit dem Grund für jeden verlorenen Punkt.
L4
Überstunden und Leihpersonal werden an der mit Solver berechneten Referenz gemessen.
Gewicht 0,40
L5
Der veröffentlichte Dienstplan ändert sich nur dort, wo die Lage es verlangt.
Gewicht 0,20
L6
Wer eine geänderte Schicht hat, wird informiert, wie es die Hausregeln verlangen.
Gewicht 0,15
L7
Der Abschlussbericht wird mit dem echten Endzustand verglichen. Falsche Behauptungen kosten Punkte.
Gewicht 0,25
Kein LLM als Richter. Gleicher Lauf, gleiche Bewertung.
So funktioniert die PrüfungBlindtest auf unseren 13 harten Aufgaben, bewertet vom deterministischen Prüfer (OpsDesk-Care 2.4.13).
voll gelöst: 0 von 13
12 von 13 jede Regel eingehalten, ehrlicher Bericht
Durchschnitt0,86
voll gelöst: 0 von 13
7 von 13 jede Regel eingehalten, ehrlicher Bericht
mal einen besetzbaren Monat für unmöglich erklärt5
Durchschnitt0,46
Opus bleibt ehrlich, trifft aber nie das Optimum des Solvers. Sonnet gibt zu früh auf.
Methode: Claude-Code-Cloud-Sitzung, Kommandozeilen-Werkzeuge, n=1 pro Aufgabe, Lauf vom 23. Oktober 2026. Voll gelöst = alle Gates bestanden, Ehrlichkeitsprüfung bestanden, Wert ≥ 0,999. Neu bewertet am 24. Oktober 2026, nachdem drei Referenzen nachgerechnet wurden.
Agenten an Betriebsarbeit trainieren und bewerten, mit Belohnungen, denen Sie vertrauen können.
Geprüfte Welten in Bereichen ergänzen, die Sie noch nicht abdecken: Dienstpläne, Lohn, Arbeitsrecht.
Ihren Agenten für Dienstplan, Personal oder Lohn an exakten Aufgaben testen, bevor er echte Pläne und Lohnzettel anfasst.
Software für Personal, Dienstplan und Lohn, die wiederholbare Tests für ihre Agenten braucht, mit Blick auf die KI-Verordnung der EU.
Robotik-Teams. Aufnahmen aus der Ich-Perspektive von den Handgriffen, die Ihre Roboter lernen sollen.
Vencur MotionRoboter lernen von Menschen bei echter Arbeit. Vencur Motion nimmt Handarbeit aus der Ich-Perspektive auf, mit Einwilligung, und bereitet sie für das Robotertraining auf.
00:04 Tablett aufnehmen00:09 Spülmaschine öffnen00:15 Teller einräumenPilotphase Vencur Motion ist in der Pilotphase. Sagen Sie uns, welche Aufgaben wir aufnehmen sollen.
episode_0001
Beispiel zur Veranschaulichung.
Ein Ergebnis zählt, wenn Code es beweisen kann.
Wir greifen unsere Welten selbst an, bevor es Käufer tun.
Dokumente, Nachrichten und Regeln, die sich widersprechen.
Zuerst britisches und deutsches Arbeitsrecht, weitere EU-Regeln sind geplant.
Ein deterministischer Verifier prüft den Endzustand per Code: zuerst drei K.-o.-Prüfungen (Gültigkeit, harte Regeln, Abdeckung), dann gewichtete Werte für Kosten, Stabilität, Benachrichtigungen und Ehrlichkeit, gegen eine mit Solver berechnete Referenz. Kein LLM als Richter. So funktioniert die Prüfung
Kaum. Der Verifier bewertet den Endzustand, nicht das, was der Agent sagt, und die Ehrlichkeitsprüfung vergleicht den Abschlussbericht mit diesem Zustand. Vencur greift die eigenen Verifier mit bekannten Tricks an, bevor eine Welt ausgeliefert wird. Abkürzungen bringen deshalb weniger als ehrliche Arbeit.
Eine Gym-artige HTTP-Schnittstelle, Python und Docker, als Dateien oder als gehostete Umgebung. Testpakete kommen in Ihrem Format; Adapter für andere Formate bauen wir auf Anfrage.
Ein Testpaket liefern wir meist in etwa zehn Arbeitstagen. Den Zeitplan für eine eigene Welt legen wir beim Zuschnitt fest.
Eine Musteraufgabe ist kostenlos. Testpakete gibt es ab 6.000 $, Trainingslizenzen ab 600 $ pro Aufgabe und eigene Welten ab 40.000 $. Die Rechnung kommt erst, wenn Sie die Lieferung abgenommen haben. Preise und Ablauf
Aller Code und alle Daten stammen von Vencur, und jede Umgebung nutzt nur synthetische Daten. Sie erhalten eine Lizenz zur Nutzung: standardmäßig nicht exklusiv, exklusiv auf Anfrage.
Ja, wenn sich das Ergebnis exakt prüfen lässt. Eine eigene Welt beginnt mit dem Zuschnitt per E-Mail, dann folgen Regelwerk, Aufgabenfamilien und Verifier, vor der Lieferung an Spitzenmodellen kalibriert. Eine Welt für Ihren Ablauf
Fordern Sie eine kostenlose Musteraufgabe an: Sie läuft in wenigen Minuten auf Ihrem Rechner. Die meisten Teams beginnen danach mit einem Testpaket.
Fordern Sie ein Muster an oder beschreiben Sie einen Ablauf. Wir antworten per E-Mail.
Anfrage gesendet. Wir antworten per E-Mail.