Writing on agents in production.
What we've learned from shipping. No takes on whether agents are real.
// post in evidenza
Perché la sua suite di evals appartiene alla CI.
Se i suoi evals non girano a ogni PR, non sono evals — sono uno screenshot di una riunione di marzo.
Letto · Team di engineering
A2A e MCP: li scelga entrambi.
Risolvono problemi adiacenti. L'errore è trattarli come un bivio.
Il runbook che esce con ogni agente.
Modalità di fallimento, escalation, condizioni di rollback. Noioso di proposito.
I workflow durable non sono retries.
Un modello mentale ragionevole per capire quando serve davvero un orchestratore durable rispetto a un semplice backoff migliore.
Perché restiamo on-call per 60 giorni dopo l'handoff.
Perché i primi 60 giorni fanno emergere ogni assunzione che la suite di evals si è persa.
Come costruire un eval set di retrieval in una settimana.
Una ricetta pratica. 200 domande, il suo corpus reale, baseline, e un set "da non ottimizzare".
INIZIA
Manda live il primo sistema.
Discovery a prezzo fisso in 2 settimane. Te ne vai con architettura, spike funzionante e piano di build.