Es gibt ein Muster, das wir in fast jedem agentischen System sehen, das länger als sechs Monate läuft: einen Ordner namens evals/ mit 40 in Woche zwei enthusiastisch geschriebenen Szenarien und einer last_run.json von vor der letzten Prompt-Änderung.
Das ist keine Eval-Suite. Das ist ein Screenshot aus einem Meeting im März.
Das Zwei-Aufgaben-Problem
Wenn eine Eval-Suite außerhalb der CI lebt, erfüllt sie am Ende zwei Aufgaben, die in entgegengesetzte Richtungen ziehen:
- Sich selbst überzeugen, dass das System funktioniert (einmal ausführen, demonstrieren, archivieren)
- Regressionen abfangen, bevor Nutzer sie tun (bei jeder Änderung ausführen, Releases gaten)
Die erste Aufgabe belohnt Gründlichkeit — 200 Fälle schreiben, die jeden Edge abdecken. Die zweite belohnt Geschwindigkeit — in weniger als fünf Minuten laufen, sonst wartet niemand.
Außerhalb der CI tendiert die Suite zur ersten Aufgabe, weil die zweite keine Durchsetzung kennt. Das Ergebnis ist eine Suite, die in der Demo beeindruckt und in der Praxis nutzlos ist.
Was „in CI" tatsächlich bedeutet
Drei konkrete Dinge, in der Reihenfolge ihrer Kosten:
- Ein Subset läuft bei jedem PR. Wählen Sie 20–40 schnelle, hochabdeckende Fälle. Sie sollten in unter 90 Sekunden fertig sein und den Merge blockieren, falls sie fehlschlagen.
- Die vollständige Suite läuft nächtlich gegen den Main-Branch. Fehler benachrichtigen jemanden — nicht die on-call-Rotation, sondern den Owner des Prompts.
- Score-Deltas werden über die Zeit verfolgt. Nicht nur Pass/Fail. Eine 4%-Regression bei der Zitations-Genauigkeit, die kein hartes Gate verletzt, ist trotzdem eine Regression.
Das mittlere — Fehler benachrichtigen einen Owner — ist der Teil, den Teams überspringen und sich dann wundern, warum sich Drift aufsummiert.
Was wir mit jedem System ausliefern
Ein pnpm eval-Target (oder Äquivalent), das das schnelle Subset lokal in unter zwei Minuten ausführt. Eine GitHub Action, die dasselbe bei PRs ausführt. Ein Nightly, das die volle Suite gegen produktive Prompts laufen lässt. Und ein Dashboard mit zwei Charts: Pass-Rate nach Tag und Pass-Rate über die Zeit.
Das ist alles. Nichts auf dieser Liste ist neu. Das Neue ist, dass es ab Tag eins verdrahtet ist und verdrahtet bleibt, nachdem wir gegangen sind.
Warum das funktioniert
Engineers schreiben keine evals für Systeme, die sie nicht erzwingen. Die Eval-Suite ist kein moralisches Artefakt, sondern ein tragendes Element der Testpyramide. Stellen Sie sie dorthin, wo der Rest der Tests lebt.