类型化契约
每个工具、每个输入、每个输出都有 Zod/JSON schema。Runtime 强制执行;LLM 无法偏离。
Eval gates
每个 release 在 promote 前都经过确定性和 LLM-judge evals。回归阻止 deploy。
Traces + 回滚方案
到处都是 OpenTelemetry spans;回滚是 feature flag 后一行的路由切换。
02 · Reference architecture
What we actually ship.
Every system we build follows this shape. Client at the edge, tools in a sandbox, traces everywhere, evaluators gating output. No black boxes, no "it works on my machine."
EDGE
Client
web · mobile · API
Gateway
auth · 限流 · PII 编辑
编排
Orchestrator
planner · router · memory
智能体 & 工具
Retrieval
混合 · rerank · cite
Tool calls
sandboxed · timeboxed
Evaluator
gates · rubrics · LLM-judge
数据 & 信任
Vector + BM25
租户隔离
Traces / logs
OTel · 可重放
签名输出
可审计 · 可回滚
04 · Run
Watch an agent do the job.
Three real production scenarios, replayed at observed latency. Every box is a span; every span has tokens, cost, and an eval gate. This is what shows up in your traces, not a marketing animation.
POST/api/v1/agent/run交易台提交 €4.2M 大宗交易。智能体须在 <3s 内拒绝、批准或标记。
trace · compliancespan_id 7c1f…
orchestrator.run
PLANorchestrator.plan
Plan rationale
盘前审查需要：适用规则检索、行情、持仓检查与确定性评估门禁。
Subtasks
retrievaltool.market_datatool.position_checkevaluator
0ms/1.82s
LATENCY0msbudget 3.00s
TOKENS0in + out
COST$0.0000budget $0.025
EVAL GATE—deterministic + LLM-judge
已批准 · 1 个标记
交易通过 12 条规则中的 11 条。规则 23.2（账面集中度）标记给 desk-head 签字。
latency2.41scost$0.014tokens1,827evals12/12
09 · STACK
Modern tools, composed cleanly.
模型
Claude, GPT-4, Llama 3
Runtime
Temporal, Inngest
Eval
Promptfoo, Braintrust
Observability
OpenTelemetry, Langfuse
Auth
Clerk, Auth0
Deploy
Vercel, AWS, GCP
09 · FAQ
FAQ · AI 智能体与技能
每个 release 都经过 eval gates:确定性检查(schema、延迟、成本)、tool-call 覆盖率、LLM-judge 抽样。任一回归则 deploy 停止。
按调用与按日的预算。用 retrieval-truncation 限制上下文,在 evals 允许的地方路由到更便宜的模型,在成本压力下回退到确定性路径。
每条路径都有 fallback。确定性逻辑捕获常见情况;智能体路径在其上层。回滚是 feature flag 后一行的 route 切换。
Ramp 期间两周 shadowing,在您仓库中交付的 runbook + eval suite,首次事故时的 on-call 重叠。之后就归您。