Writing on agents in production.
What we've learned from shipping. No takes on whether agents are real.
// препоръчана публикация
Защо вашият eval suite принадлежи в CI.
Ако вашите evals не се пускат на всеки PR, те не са evals — те са скрийншот от среща през март.
Чете · Инженерен екип
A2A и MCP: изберете и двете.
Те решават съседни проблеми. Грешката е да ги третирате като развилка на пътя.
Runbook-ът, който идва с всеки агент.
Failure modes, ескалации, условия за rollback. Скучен нарочно.
Durable workflows не са retries.
Разумен ментален модел за това кога наистина ви трябва durable orchestrator срещу просто по-добър backoff.
Защо поддържаме on-call 60 дни след handoff.
Защото първите 60 дни изваждат на повърхността всяко допускане, което eval suite-ът е пропуснал.
Как да изградите retrieval eval set за седмица.
Практическа рецепта. 200 въпроса, вашият реален corpus, baselines и „не оптимизирайте срещу това“ set.
СТАРТ
Пуснете първата система.
Discovery на фиксирана цена за 2 седмици. Получавате архитектура, работещ spike и план за изграждане.