Το πρόβλημα
Ο broker έκανε χειρωνακτικό έλεγχο σε ~38.000 pre-trade alerts την εβδομάδα. Οι reviewers έχαναν τη μακριά ουρά. Η ομάδα συμμόρφωσης ήθελε machine triage — αλλά όχι του τύπου που εξηγείται στον ρυθμιστή ως «το μοντέλο αποφάσισε».
Χρειαζόμασταν ένα σύστημα που μπορεί να δικαιολογήσει κάθε block σε απλή γλώσσα, με citations.— Head of Compliance, Fintech, Ευρώπη
Η προσέγγισή μας
Δεν αντικαταστήσαμε τον reviewer — αντικαταστήσαμε την ουρά triage. Το σύστημα εξηγεί τη συλλογιστική του span-by-span· ο reviewer αποδέχεται ή απορρίπτει.
Τρεις αποφάσεις διαμόρφωσαν το σύστημα:
- Typed envelopes μεταξύ agents. Κάθε μήνυμα agent-προς-agent έχει versioned schema. Το codegen χειρίζεται το boilerplate.
- Deterministic eval gates. Ένα regression στην κάλυψη κανόνων σταματά αυτόματα το deploy.
- Πλήρες audit trail. Trace IDs σε κάθε span. Ένας reviewer μπορεί να αναπαράξει οποιαδήποτε απόφαση ακριβώς.
Η αρχιτεκτονική
What we actually ship.
Every system we build follows this shape. Client at the edge, tools in a sandbox, traces everywhere, evaluators gating output. No black boxes, no "it works on my machine."
Ένα run, σε αυτό το σύστημα
Watch an agent do the job.
Three real production scenarios, replayed at observed latency. Every box is a span; every span has tokens, cost, and an eval gate. This is what shows up in your traces, not a marketing animation.
Pretrade review requires: applicable-rules retrieval, market-data lookup, position-check, and a deterministic evaluator gate.
Αποτελέσματα
Παρέδωσαν ένα σύστημα που επιβίωσε των εβδομάδων αιχμής μας. Τα evals έπιασαν δύο regressions που αλλιώς θα είχαν φτάσει στην παραγωγή.
— VP of Engineering, Fintech, Ευρώπη