Contrats typés
Chaque outil, chaque entrée, chaque sortie a un schéma Zod/JSON. Le runtime l'impose ; le LLM ne peut pas dériver.
SERVICE · 01
Agents & Skills
Outils multi-étapes avec evals, traces et guardrails — fonctionnant dans votre stack, pas dans un bac à sable.
Eval gates
Chaque release passe par des evals déterministes et LLM-judge avant promote. Les régressions bloquent le deploy.
Traces + plan de rollback
Spans OpenTelemetry partout ; le rollback est un changement de route d'une ligne derrière un feature flag.
02 · Reference architecture
What we actually ship.
Every system we build follows this shape. Client at the edge, tools in a sandbox, traces everywhere, evaluators gating output. No black boxes, no "it works on my machine."
EDGE
Client
web · mobile · API
Gateway
auth · rate-limit · redact PII
ORCHESTRATION
Orchestrator
planner · router · memory
AGENTS & TOOLS
Retrieval
hybride · rerank · cite
Tool calls
sandboxed · timeboxed
Evaluator
gates · rubriques · LLM-judge
DONNÉES & CONFIANCE
Vector + BM25
isolé par tenant
Traces / logs
OTel · replayable
Sortie signée
auditable · rollback
04 · Run
Watch an agent do the job.
Three real production scenarios, replayed at observed latency. Every box is a span; every span has tokens, cost, and an eval gate. This is what shows up in your traces, not a marketing animation.
POST/api/v1/agent/runLe desk soumet un block trade de 4,2 M€. L’agent doit rejeter, approuver ou flagger en <3 s.
trace · compliancespan_id 7c1f…
orchestrator.run
PLANorchestrator.plan
Plan rationale
La revue pretrade exige : règles applicables, market data, position-check et gate d’évaluation déterministe.
Subtasks
retrievaltool.market_datatool.position_checkevaluator
0ms/1.82s
LATENCY0msbudget 3.00s
TOKENS0in + out
COST$0.0000budget $0.025
EVAL GATE—deterministic + LLM-judge
APPROUVÉ · 1 flag
La transaction passe 11 règles sur 12. Règle 23.2 (concentration du book) flaggée pour signature desk-head.
latency2.41scost$0.014tokens1,827evals12/12
09 · STACK
Modern tools, composed cleanly.
Modèles
Claude, GPT-4, Llama 3
Runtime
Temporal, Inngest
Eval
Promptfoo, Braintrust
Observability
OpenTelemetry, Langfuse
Auth
Clerk, Auth0
Déploiement
Vercel, AWS, GCP
09 · FAQ
FAQ · Agents IA & Skills
Chaque release passe par des eval gates : checks déterministes (schéma, latence, coût), couverture des tool-calls et spot checks LLM-judge. Le deploy s'arrête si l'un d'eux régresse.
Budgets par appel et par jour. Nous cappons le contexte avec retrieval-truncation, routons vers des modèles moins chers quand les evals le permettent, et retombons sur des chemins déterministes sous pression de coût.
Chaque chemin a un fallback. Une logique déterministe attrape les cas fréquents ; le chemin agent vient par-dessus. Le rollback est un changement de route d'une ligne derrière un feature flag.
Deux semaines de shadowing pendant la rampe, runbook + eval suite livrés dans votre repo, chevauchement de on-call pour le premier incident. Après cela vous en êtes propriétaire.
DÉMARRER
Mettez en ligne le premier système.
Discovery à prix fixe en 2 semaines. Vous repartez avec une architecture, un spike fonctionnel et un plan de build.