Contratos tipados
Cada herramienta, cada input, cada output tiene un schema Zod/JSON. El runtime lo impone; el LLM no puede salirse.
SERVICIO · 01
Agentes & Skills
Herramientas multi-paso con evals, traces y guardrails — operando en su stack, no en una sandbox.
Eval gates
Cada release pasa por evals deterministas y LLM-judge antes del promote. Las regresiones bloquean el deploy.
Traces + plan de rollback
Spans de OpenTelemetry por todas partes; rollback es un cambio de ruta de una línea detrás de un feature flag.
02 · Reference architecture
What we actually ship.
Every system we build follows this shape. Client at the edge, tools in a sandbox, traces everywhere, evaluators gating output. No black boxes, no "it works on my machine."
EDGE
Client
web · mobile · API
Gateway
auth · rate-limit · redact PII
ORQUESTACIÓN
Orchestrator
planner · router · memory
AGENTES Y TOOLS
Retrieval
híbrido · rerank · cite
Tool calls
sandboxed · timeboxed
Evaluator
gates · rúbricas · LLM-judge
DATOS Y CONFIANZA
Vector + BM25
aislado por tenant
Traces / logs
OTel · replayable
Salida firmada
auditable · rollback
04 · Run
Watch an agent do the job.
Three real production scenarios, replayed at observed latency. Every box is a span; every span has tokens, cost, and an eval gate. This is what shows up in your traces, not a marketing animation.
POST/api/v1/agent/runEl desk envía un block trade de €4,2M. El agente debe rechazar, aprobar o marcar en <3s.
trace · compliancespan_id 7c1f…
orchestrator.run
PLANorchestrator.plan
Plan rationale
La revisión pretrade requiere: reglas aplicables, market data, position-check y un evaluator gate determinista.
Subtasks
retrievaltool.market_datatool.position_checkevaluator
0ms/1.82s
LATENCY0msbudget 3.00s
TOKENS0in + out
COST$0.0000budget $0.025
EVAL GATE—deterministic + LLM-judge
APROBADO · 1 flag
La operación pasa 11 de 12 reglas. Regla 23.2 (concentración de libro) marcada para firma del desk-head.
latency2.41scost$0.014tokens1,827evals12/12
09 · STACK
Modern tools, composed cleanly.
Modelos
Claude, GPT-4, Llama 3
Runtime
Temporal, Inngest
Eval
Promptfoo, Braintrust
Observability
OpenTelemetry, Langfuse
Auth
Clerk, Auth0
Deploy
Vercel, AWS, GCP
09 · FAQ
FAQ · Agentes IA & Skills
Cada release pasa por eval gates: checks deterministas (schema, latencia, coste), cobertura de tool-call y spot checks LLM-judge. El deploy se detiene si algo regrede.
Budgets por llamada y por día. Capamos contexto con truncación de retrieval, routamos a modelos más baratos donde la eval lo permite, y caemos a paths deterministas bajo presión de coste.
Cada path tiene un fallback. Lógica determinista atrapa los casos comunes; el path del agente va por encima. El rollback es un cambio de route de una línea detrás de un feature flag.
Dos semanas de shadowing en la rampa, runbook + eval suite entregados en su repo, solape de on-call para el primer incidente. Después es suyo.
EMPEZAR
Lance el primer sistema.
Discovery a precio fijo en 2 semanas. Se va con una arquitectura, un spike funcional y un plan de construcción.