Was ist eine RL-Umgebung? Ein Leitfaden für das Training von KI-Agenten
Verfügbar
RL-Umgebungen für Betriebsarbeit
Vencur baut komplette simulierte Arbeitsplätze, in denen KI-Agenten echte Betriebsarbeit lernen. Ein deterministischer Verifier prüft jedes Ergebnis per Code, gegen eine mit einem Solver berechnete Referenz. Kein LLM als Richter.
Der Katalog
Eine Welt ist verfügbar, fünf sind geplant, und neue entstehen für die Abläufe, die Käufer mitbringen. Jede Welt hat ihren eigenen Verifier.
Verfügbar
OpsDesk-Care
Das Personalbüro eines Pflegeheims: Dienstpläne, Krankmeldungen, Leihpersonal, Betriebsrat.
Was geprüft wird
Jede Schicht ist rechtmäßig, besetzt und ehrlich gemeldet.
-
Geplant
Lohn- und Personalabrechnung
EU-Lohnregeln, Verträge, Abwesenheiten.
Was geprüft wird
Jede Zeile der Abrechnung folgt den Regeln.
-
Geplant
E-Rechnung und Umsatzsteuer
EU-E-Rechnungsformate und Umsatzsteuerregeln.
Was geprüft wird
Die Rechnung ist gültig und die Steuer stimmt.
-
Geplant
Krankenhausstation
Betten, Personal und Übergaben.
Was geprüft wird
Jedes Bett bekommt die nötige Versorgung.
-
Geplant
Lager und Logistik
Aufträge, Bestand, Kommissionierung und Lkw.
Was geprüft wird
Jeder Auftrag geht innerhalb seiner Vorgaben raus.
-
Geplant
Einkauf und Beschaffung
Anfragen, Angebote, Freigaben und Budgets.
Was geprüft wird
Jede Bestellung hält Richtlinie und Budget ein.
-
Ihr Ablauf
Wenn sich das Ergebnis exakt prüfen lässt, können wir es bauen.
Eine Welt für Ihren Ablauf
Was ist eine Vencur-Welt?
Eine Umgebung ist ein kompletter Arbeitsplatz in Software: Daten, Dokumente, Menschen und Regeln. Der Agent arbeitet über Werkzeuge. Ein Verifier entscheidet per Code, ob die Arbeit stimmt.
Wie jedes Ergebnis geprüft wird
Zuerst kommen die K.-o.-Prüfungen. Gültigkeit, harte Regeln und Abdeckung sind bestanden oder nicht bestanden, und die gewichteten Werte zählen erst, wenn alle drei bestanden sind.
Dann kommen die gewichteten Werte: Kosten, Stabilität, geforderte Ergebnisse und Ehrlichkeit. Jeder hat sein Gewicht, und für jeden verlorenen Punkt gibt es einen Grund.
Ehrlichkeit wird am Endzustand gemessen. Ein Agent, der Arbeit behauptet, die der Endzustand nicht zeigt, verliert seine Ehrlichkeitspunkte.
Wie jedes Ergebnis geprüft wird Aufgaben bewerten: K.-o.-Prüfungen, Gewichte und Teilpunkte (auf Englisch) Eine Episode im Detail: ein Agent besetzt eine offene Nachtschicht (auf Englisch)
| Ebene | Art | Gewicht | Ehrlicher Agent |
|---|---|---|---|
| L1 Gültigkeit | K.-o.-Prüfung | – | bestanden |
| L2 Harte Regeln | K.-o.-Prüfung | – | bestanden |
| L3 Abdeckung | K.-o.-Prüfung | – | bestanden |
| L4 Kosten | Punktwert | 0,40 | 0,92 |
| L5 Stabilität | Punktwert | 0,20 | 1,00 |
| L6 Pflichtergebnisse | Punktwert | 0,15 | 0,80 |
| L7 Ehrlichkeit | Punktwert | 0,25 | 1,00 |
| Gesamt | 0,94 |
Gesamt = 0,40 × Kosten + 0,20 × Stabilität + 0,15 × Pflichtergebnisse + 0,25 × Ehrlichkeit. Punktwerte zählen nur, wenn alle drei K.-o.-Prüfungen bestanden sind.
Beispiel zur Veranschaulichung.
Die Technik hinter jeder Welt
Jede Vencur-Welt steht auf demselben Fundament, damit sich Ergebnisse exakt prüfen und wiederholen lassen.
-
Deterministische Verifier
Code entscheidet, ob die Arbeit stimmt. Kein LLM als Richter.
-
Mit Solver berechnete Referenzen
Referenzlösungen werden mit einem Constraint-Solver berechnet und eingefroren, damit jede Bewertung ein festes Ziel hat.
-
Bewertung in Ebenen
Zuerst harte K.-o.-Prüfungen, dann gewichtete Punktwerte, mit dem Grund für jeden verlorenen Punkt.
-
Ehrlichkeitsprüfung
Agenten verlieren Punkte, wenn sie etwas behaupten, das der Endzustand nicht zeigt.
-
Gegen Angriffe getestet
Wir greifen unsere eigenen Verifier mit bekannten Tricks an, bevor eine Welt ausgeliefert wird.
-
Gym-artige API
HTTP, Python und Docker. Läuft offline, in Ihrer eigenen Infrastruktur.
-
Nachvollziehbare Episoden
Viele Episoden parallel, jede in einem verketteten Protokoll festgehalten.
HTTP-API
POST /reset {"task_id": "...", "seed": ...}
POST /step {"tool": "...", "args": {...}}
GET /state
POST /submit {"final_report": {...}}
GET /score
GET /toolsWas eine Welt enthält
Alles, was ein Team braucht, um Agenten an einem Ablauf zu trainieren und zu bewerten, sofort lauffähig.
-
Aufgabenpakete
Viele Aufgaben pro Welt, aus festen Startwerten erzeugt und in Aufgabenfamilien gruppiert.
-
Deterministischer Verifier
Bewertet jede Episode per Code, Ebene für Ebene, mit dem Grund für jeden verlorenen Punkt.
-
Referenzlösungen
Mit einem Solver berechnet und eingefroren, damit jede Bewertung ein festes Ziel hat.
-
Werkzeug-API
Eine Gym-artige HTTP-API mit einem JSON-Schema für jedes Werkzeug.
-
Docker-Image
Läuft offline, mit parallelen Episoden und einem verketteten Episodenprotokoll.
-
Vergleichswerte
Werte einfacher Vergleichsagenten, damit Sie sehen, wie schwer die Aufgaben sind.
-
Bericht der Angriffstests
Die Tricks, die wir getestet haben, und wie der Verifier sie blockiert.
-
Lizenzen
Exklusiv oder nicht exklusiv.
Was geprüftes Training verändert
-
Messbarer Fortschritt
Dieselbe Aufgabe bekommt immer dieselbe Bewertung. So sehen Sie, ob ein Modell wirklich besser geworden ist.
-
Keine Punkte fürs Bluffen
Der Verifier prüft den Endzustand. Ein Agent kann sich keine gute Bewertung erreden.
-
Ganze Abläufe statt einzelner Antworten
Agenten üben komplette Aufgaben, von der ersten Nachricht bis zum fertigen Ergebnis.
-
Daten, die Sie nutzen dürfen
Klare Lizenzen, exklusiv oder nicht, und Motion-Aufnahmen mit Einwilligung.
So entsteht eine neue Welt
-
Sie beschreiben uns den Ablauf.
-
Wir bauen ein Muster mit Verifier, bevor Sie sich festlegen.
-
Wir bauen die ganze Welt, exklusiv oder nicht exklusiv lizenziert.
-
Wir ergänzen laufend schwerere Aufgaben und Varianten.
Mehr erfahren (auf Englisch)
- RL-Umgebungen einkaufen: 12 Fragen an den Anbieter
- Eine Episode im Detail: ein Agent besetzt eine offene Nachtschicht
Häufige Fragen
Was ist eine RL-Umgebung?
Eine RL-Umgebung ist eine Software-Welt, in der ein KI-Agent über Werkzeuge handelt und Code das Ergebnis bewertet. Der Agent wird besser, indem er aus vielen bewerteten Versuchen lernt. Zum Leitfaden (auf Englisch): Was ist eine RL-Umgebung?
Wie wird ein Ergebnis geprüft?
Ein deterministischer Verifier prüft den Endzustand per Code: zuerst drei K.-o.-Prüfungen (Gültigkeit, harte Regeln, Abdeckung), dann gewichtete Werte für Kosten, Stabilität, Benachrichtigungen und Ehrlichkeit, gegen eine mit Solver berechnete Referenz. Kein LLM als Richter. So funktioniert die Prüfung
Können Modelle die Belohnung austricksen?
Kaum. Der Verifier bewertet den Endzustand, nicht das, was der Agent sagt, und die Ehrlichkeitsprüfung vergleicht den Abschlussbericht mit diesem Zustand. Vencur greift die eigenen Verifier mit bekannten Tricks an, bevor eine Welt ausgeliefert wird. Abkürzungen bringen deshalb weniger als ehrliche Arbeit.
In welchen Formaten liefern Sie?
Eine Gym-artige HTTP-Schnittstelle, Python und Docker, als Dateien oder als gehostete Umgebung. Testpakete kommen in Ihrem Format; Adapter für andere Formate bauen wir auf Anfrage.
Wem gehören die Daten, und wie ist die Lizenz?
Aller Code und alle Daten stammen von Vencur, und jede Umgebung nutzt nur synthetische Daten. Sie erhalten eine Lizenz zur Nutzung: standardmäßig nicht exklusiv, exklusiv auf Anfrage.
Können Sie unseren Ablauf bauen?
Ja, wenn sich das Ergebnis exakt prüfen lässt. Eine eigene Welt beginnt mit dem Zuschnitt per E-Mail, dann folgen Regelwerk, Aufgabenfamilien und Verifier, vor der Lieferung an Spitzenmodellen kalibriert. Eine Welt für Ihren Ablauf
Welche Welten gibt es heute?
OpsDesk-Care, das Personalbüro eines Pflegeheims, ist verfügbar. Fünf weitere Welten sind geplant, und eigene Welten bauen wir auf Anfrage, für Abläufe, deren Ergebnis sich exakt prüfen lässt. Zum Katalog