Writing on agents in production.
What we've learned from shipping. No takes on whether agents are real.
// 注目記事
なぜ eval スイートは CI に置くべきなのか。
PR ごとに走らない evals は、evals ではなく、3月のミーティングのスクリーンショットにすぎません。
読む · エンジニアリングチーム
A2A と MCP: 両方採用する。
それらは隣接する問題を解決します。間違いは、分岐点として扱うことです。
すべてのエージェントに同梱する runbook。
失敗モード、エスカレーション、rollback 条件。意図的に退屈に。
Durable ワークフローはリトライではありません。
本当に durable オーケストレータが必要なのか、それとも単に良い backoff があれば十分なのか、判断するための合理的なメンタルモデル。
ハンドオフ後60日 on-call を続ける理由。
最初の60日は、eval スイートが見落としたあらゆる仮定を表面化させるからです。
retrieval の eval セットを1週間で構築する方法。
実用的なレシピ。200問、実コーパス、ベースライン、そして「これは最適化しない」セット。