Contratos tipados
Toda ferramenta, todo input, todo output tem schema Zod/JSON. O runtime impõe; o LLM não consegue desviar.
SERVIÇO · 01
Agentes & Skills
Ferramentas multi-step com evals, traces e guardrails — rodando na sua stack, não numa sandbox.
Eval gates
Todo release passa por evals determinísticos e LLM-judge antes do promote. Regressões bloqueiam o deploy.
Traces + plano de rollback
Spans OpenTelemetry em todo canto; rollback é troca de rota de uma linha atrás de um feature flag.
02 · Reference architecture
What we actually ship.
Every system we build follows this shape. Client at the edge, tools in a sandbox, traces everywhere, evaluators gating output. No black boxes, no "it works on my machine."
EDGE
Client
web · mobile · API
Gateway
auth · rate-limit · redact PII
ORQUESTRAÇÃO
Orchestrator
planner · router · memory
AGENTES & TOOLS
Retrieval
híbrido · rerank · cite
Tool calls
sandboxed · timeboxed
Evaluator
gates · rubricas · LLM-judge
DADOS & CONFIANÇA
Vector + BM25
isolado por tenant
Traces / logs
OTel · replayable
Saída assinada
auditável · rollback
04 · Run
Watch an agent do the job.
Three real production scenarios, replayed at observed latency. Every box is a span; every span has tokens, cost, and an eval gate. This is what shows up in your traces, not a marketing animation.
POST/api/v1/agent/runO desk envia um block trade de €4,2M. O agente deve rejeitar, aprovar ou sinalizar em <3s.
trace · compliancespan_id 7c1f…
orchestrator.run
PLANorchestrator.plan
Plan rationale
A revisão pretrade exige: regras aplicáveis, market data, position-check e gate determinístico.
Subtasks
retrievaltool.market_datatool.position_checkevaluator
0ms/1.82s
LATENCY0msbudget 3.00s
TOKENS0in + out
COST$0.0000budget $0.025
EVAL GATE—deterministic + LLM-judge
APROVADO · 1 flag
A operação passa 11 de 12 regras. Regra 23.2 (concentração do book) sinalizada para assinatura do desk-head.
latency2.41scost$0.014tokens1,827evals12/12
09 · STACK
Modern tools, composed cleanly.
Modelos
Claude, GPT-4, Llama 3
Runtime
Temporal, Inngest
Eval
Promptfoo, Braintrust
Observability
OpenTelemetry, Langfuse
Auth
Clerk, Auth0
Deploy
Vercel, AWS, GCP
09 · FAQ
FAQ · Agentes IA & Skills
Todo release passa por eval gates: checks determinísticos (schema, latência, custo), cobertura de tool-call e spot checks LLM-judge. O deploy para se algum regride.
Budgets por chamada e por dia. Capamos contexto com truncação de retrieval, roteamos para modelos mais baratos onde a eval permite, e caímos para paths determinísticos sob pressão de custo.
Todo path tem um fallback. Lógica determinística pega os casos comuns; o path do agente fica em cima. Rollback é uma troca de route de uma linha atrás de um feature flag.
Duas semanas de shadowing durante a rampa, runbook + eval suite entregues no seu repo, sobreposição de on-call para o primeiro incidente. Depois é seu.
COMEÇAR
Coloque o primeiro sistema no ar.
Discovery de preço fixo em 2 semanas. Você sai com arquitetura, spike funcionando e plano de build.