Writing on agents in production.
What we've learned from shipping. No takes on whether agents are real.
// post em destaque
Por que sua suíte de evals pertence ao CI.
Se seus evals não rodam em cada PR, não são evals — são um screenshot de uma reunião de março.
Leitura · Time de engenharia
A2A e MCP: escolha os dois.
Eles resolvem problemas adjacentes. O erro é tratá-los como uma bifurcação no caminho.
O runbook que acompanha cada agente.
Modos de falha, escalations, condições de rollback. Chato de propósito.
Workflows duráveis não são retries.
Um modelo mental razoável para quando você realmente precisa de um orquestrador durável vs. apenas backoff melhor.
Por que ficamos no on-call por 60 dias após o handoff.
Porque os primeiros 60 dias expõem cada suposição que a suíte de evals deixou passar.
Como construir um eval set de retrieval em uma semana.
Uma receita prática. 200 perguntas, seu corpus real, baselines, e um conjunto "não otimize isto".
COMEÇAR
Coloque o primeiro sistema no ar.
Discovery de preço fixo em 2 semanas. Você sai com arquitetura, spike funcionando e plano de build.