Türlenmiş kontratlar
Her tool, her input, her output Zod/JSON şemaya sahip. Runtime zorlar; LLM bunun ötesine geçemez.
HİZMET · 01
Ajanlar & skills
Evals, traces ve guardrails ile çok adımlı araçlar — sandbox'ta değil, stack'inizde çalışır.
Eval gates
Her release promote öncesi deterministik ve LLM-judge eval'lerden geçer. Regresyonlar deploy'u durdurur.
Traces + rollback planı
Her yerde OpenTelemetry span'leri; rollback bir feature flag arkasında tek satırlık route değişimidir.
02 · Reference architecture
What we actually ship.
Every system we build follows this shape. Client at the edge, tools in a sandbox, traces everywhere, evaluators gating output. No black boxes, no "it works on my machine."
EDGE
Client
web · mobile · API
Gateway
auth · rate-limit · PII redact
ORKESTRASYON
Orchestrator
planner · router · memory
AJANLAR & TOOLS
Retrieval
hibrit · rerank · cite
Tool calls
sandboxed · timeboxed
Evaluator
gates · rubrics · LLM-judge
VERİ & GÜVEN
Vector + BM25
tenant-isolated
Traces / logs
OTel · replayable
İmzalı çıktı
auditable · rollback
04 · Run
Watch an agent do the job.
Three real production scenarios, replayed at observed latency. Every box is a span; every span has tokens, cost, and an eval gate. This is what shows up in your traces, not a marketing animation.
POST/api/v1/agent/runTrade desk €4,2M block trade gönderir. Ajan <3s içinde reddetmeli, onaylamalı veya bayraklamalı.
trace · compliancespan_id 7c1f…
orchestrator.run
PLANorchestrator.plan
Plan rationale
Pretrade incelemesi: uygulanabilir kurallar, market data, position-check ve deterministik evaluator gate.
Subtasks
retrievaltool.market_datatool.position_checkevaluator
0ms/1.82s
LATENCY0msbudget 3.00s
TOKENS0in + out
COST$0.0000budget $0.025
EVAL GATE—deterministic + LLM-judge
ONAYLANDI · 1 bayrak
İşlem 12 kuraldan 11’ini geçer. Kural 23.2 (defter yoğunluğu) desk-head imzası için bayraklandı.
latency2.41scost$0.014tokens1,827evals12/12
09 · STACK
Modern tools, composed cleanly.
Modeller
Claude, GPT-4, Llama 3
Runtime
Temporal, Inngest
Eval
Promptfoo, Braintrust
Observability
OpenTelemetry, Langfuse
Auth
Clerk, Auth0
Deploy
Vercel, AWS, GCP
09 · FAQ
FAQ · AI ajanlar & skills
Her release eval gate-lerden geçer: deterministik kontroller (şema, gecikme, maliyet), tool-call kapsamı ve LLM-judge spot kontrolleri. Birinde regresyon olursa deploy durur.
Çağrı başı ve gün başı bütçeler. Bağlamı retrieval-truncation ile sınırlarız, eval'lerin izin verdiği yerlerde daha ucuz modellere yönlendiririz ve maliyet baskısı altında deterministik path'lere geri düşeriz.
Her path için bir fallback vardır. Deterministik mantık yaygın durumları yakalar; ajan path-i üstüne biner. Rollback, feature flag arkasında tek satırlık route değişimidir.
Rampa boyunca iki haftalık shadowing, repo'nuza teslim edilen runbook + eval suite, ilk olay için on-call örtüşmesi. Sonrası sizin.
BAŞLA
İlk sistemi yayına alın.
2 haftada sabit fiyatlı discovery. Mimari, çalışan bir spike ve build planıyla yola çıkarsınız.