Agents that 生き残る production.

キックオフから本番ロールアウトまで 8 〜 14 週間。Discovery を一緒に行う場合は含まれます。そうでなければ既存の spec から作業します。

お客様。リポジトリは初日からお客様の org にあります。そこに commit します。お客様が複製できない独自のものは動かしません。

すべてのリリースは eval gate を通過します:決定論的チェック (スキーマ、レイテンシ、コスト)、tool-call カバレッジ、LLM-judge スポットチェック。いずれかが regress するとデプロイが止まります。

呼び出し単位と日単位の予算。検索切り詰めでコンテキストをキャップし、evals が許す箇所では安価なモデルへルーティング、コスト圧下では決定論的パスへフォールバック。

すべての path に fallback。決定論的ロジックが一般的なケースを捕捉、エージェントの path はその上に重なります。ロールバックは feature flag 裏の 1 行ルート切り替えです。

ランプ期間中 2 週間のシャドウイング、お客様の repo に納品される runbook + eval suite、最初のインシデントでの on-call 重複。その後はお客様のものです。

Faithfulness (回答は引用された文書から導かれているか?)、grounding (引用は実在するか?)、recall (正しい文書を見つけたか?)。すべてのリリースで suite を実行。

はい。Durable execution が各ステップで入力をキャプチャ。Known-bad 入力に対する replay は、モデルが seedable な場合の非決定的 LLM 呼び出しも含めて failure を正確に再現します。

各エージェントは型付き ID + デフォルト mTLS を持ちます。短寿命の scoped token を使用、エージェント間呼び出しは監査人がフローを再構築できるよう trace ID を運びます。

デフォルトで additive のみ、各 envelope に `version` フィールド、CI でチェックされる deprecation policy。Breaking change は並行バージョンウィンドウを経由します。