Writing on agents in production.
What we've learned from shipping. No takes on whether agents are real.
// öne çıkan yazı
Eval suite'inizin CI'a ait olmasının nedeni.
Eval'leriniz her PR'da çalışmıyorsa, eval değiller — Mart ayındaki bir toplantıdan bir ekran görüntüsüler.
Yazan · Mühendislik ekibi
A2A ve MCP: ikisini birden alın.
Komşu sorunları çözüyorlar. Hata, onları yol ayrımı olarak ele almak.
Her ajanla birlikte gelen runbook.
Hata modları, eskalasyonlar, rollback koşulları. Bilinçli olarak sıkıcı.
Durable workflow-lar retry değildir.
Sadece daha iyi backoff yerine gerçekten ne zaman durable orkestratör'e ihtiyaç duyduğunuz için makul bir zihinsel model.
Devirden sonra neden 60 gün on-call kalıyoruz.
Çünkü ilk 60 gün, eval suite'in kaçırdığı her varsayımı su yüzüne çıkarır.
Bir haftada nasıl retrieval eval set oluşturulur.
Pratik bir tarif. 200 soru, sizin gerçek korpusunuz, baseline-lar ve bir 'bunu optimize etme' seti.
BAŞLA
İlk sistemi yayına alın.
2 haftada sabit fiyatlı discovery. Mimari, çalışan bir spike ve build planıyla yola çıkarsınız.