Κάθε engagement της Tzar.Tech τελειώνει με 60 ημέρες αλληλεπικάλυψης on-call. Και οι δύο ομάδες — η δική μας και του πελάτη — μοιράζονται το pager. Στην αρχή το θεωρούσαμε χειρονομία καλής θέλησης. Αποδείχθηκε η πιο σημαντική φάση του engagement.
Δείτε γιατί.
Τι δεν πιάνει η σουίτα evals
Η σουίτα evals πιάνει αυτό που σκεφτήκατε να ελέγξετε. Εξ ορισμού, δεν πιάνει αυτό που δεν σκεφτήκατε.
Για τα περισσότερα agentic συστήματα που παραδίδονται σε παραγωγή, οι πρώτες 60 ημέρες αναδεικνύουν:
- Inputs που κανείς δεν περίμενε. Ένας χρήστης ανεβάζει ένα PDF 400 σελίδων στα βουλγαρικά. Ένας πελάτης χτυπά το endpoint με HTML-escaped quotes. Μια ενσωμάτωση στέλνει timestamps σε microseconds.
- Υποθέσεις συχνότητας που ήταν λάθος. Ένα «σπάνιο» μονοπάτι αποδεικνύεται ότι είναι το 8% της κίνησης. Ένα «κοινό» μονοπάτι αποδεικνύεται ότι είναι το 0,1%.
- Tail latency που το φορτίο evals δεν αναπαρήγαγε. Το p99 φαίνεται καλά στα 100 RPS σε load tests· στα 250 RPS στην παραγωγή, το p99.9 ανεβαίνει απότομα λόγω ενός connection pool που μετρήσατε για λάθος κατανομή.
- Συμπεριφορές κόστους που εμφανίζονται με πραγματικά prompts. Οι πραγματικοί χρήστες διατυπώνουν ερωτήσεις με τρόπους που τριπλασιάζουν το prompt token count σε σύγκριση με τα συνθετικά σας eval prompts.
Αυτά δεν εμφανίζονται σε καμία καλοσχεδιασμένη σουίτα evals, επειδή η σουίτα evals είναι ένα μοντέλο αυτών που ξέρετε. Οι πρώτες 60 ημέρες είναι όταν το σύστημα συναντά την πραγματικότητα.
Τι κάνει στην πραγματικότητα η αλληλεπικάλυψη on-call
Δύο πράγματα, και τα δύο σημαντικά:
1. Η αποχωρούσα ομάδα είναι ακόμη συνδεδεμένη όταν στραβώνουν τα πράγματα. Όταν εμφανίζεται το νέο σύμπτωμα, ο μηχανικός που ξέρει τον κώδικα είναι στην κλήση. Όχι σε ένα Slack channel δύο ζωνών ώρας μακριά — πραγματικά ειδοποιημένος, ενεργά παρακολουθώντας. Το fix γίνεται ship αντί να γίνει ticket.
2. Η παραλαμβάνουσα ομάδα μαθαίνει τα failure modes στο δικό της context. Ειδοποιούνται. Περνούν από το runbook (δείτε το runbook που παραδίδεται με κάθε agent). Κάνουν escalate σε εμάς όταν χρειαστεί. Κάθε περιστατικό γίνεται μια καθοδηγούμενη άσκηση στη λειτουργία του συστήματος, με τους αρχικούς συγγραφείς στη γραμμή.
Μέχρι την ημέρα 60, η παραλαμβάνουσα ομάδα έχει χειριστεί αρκετά περιστατικά ώστε να γνωρίζει τι είναι δύσκολο, τι εύκολο, τι να αγνοεί, και τι αξίζει να ειδοποιήσει executive.
Τι δεν κάνουμε
Δεν τρέχουμε primary on-call. Είμαστε το secondary κατά την αλληλεπικάλυψη. Η ομάδα του πελάτη κατέχει το σύστημα. Ο ρόλος μας είναι «ο senior on-call που μπορεί να απαντήσει αν αυτό είναι φυσιολογικό και ποια είναι η ασφαλής διαδρομή εδώ».
Αυτό έχει σημασία: αν κρατούσαμε το primary, η ομάδα του πελάτη δεν θα ανέπτυσσε ποτέ τον μυ. Θα μας ειδοποιούσαν πρώτους, κάθε φορά, και την ημέρα 60 θα ήταν ακόμη εξαρτημένοι. Η αλληλεπικάλυψη είναι παράθυρο διδασκαλίας, όχι υπηρεσία.
Τι λένε τα δεδομένα
Έχουμε κρατήσει στατιστικά για αυτό σε engagements. Το σχήμα είναι συνεπές:
- Πρώτες δύο εβδομάδες: περίπου οι μισές ειδοποιήσεις φτάνουν σε εμάς. Οι περισσότερες είναι διευκρινίσεις, όχι πραγματικά περιστατικά.
- Εβδομάδες 3–4: περίπου το ένα τέταρτο φτάνει σε εμάς. Η ομάδα του πελάτη έχει εσωτερικεύσει κοινές διαγνώσεις.
- Εβδομάδες 5–8: κάτω από το 10% φτάνει σε εμάς. Όσα φτάνουν είναι γνήσια νέα failure modes που αξίζουν αλλαγή κώδικα.
Μετά τις 60 ημέρες, το διάμεσο engagement μάς ειδοποιεί μία φορά τον μήνα για το επόμενο τρίμηνο, και σχεδόν ποτέ μετά. Το σύστημα είναι δικό τους.
Γιατί 60 ημέρες και όχι 30
Δοκιμάσαμε 30 μία φορά. Δεν ήταν αρκετές.
Αρκετά failure modes εμφανίζονται μόνο σε όρια μηνών (κύκλοι χρέωσης, μηνιαία batch jobs, φορτία reporting τέλους τριμήνου). Μια αλληλεπικάλυψη 30 ημερών μπορεί να ολοκληρωθεί χωρίς ποτέ να τα συναντήσει, αφήνοντας την ομάδα του πελάτη τυφλή σε μια κατηγορία ζητημάτων που θα συμβούν, τελικά, όταν δεν θα υπάρχει senior backup να καλέσουν.
Οι 60 ημέρες πιάνουν τις αποτυχίες ορίων μήνα και δίνουν στην παραλαμβάνουσα ομάδα έναν πλήρη δεύτερο μήνα να τις χειριστεί μόνη της με εμάς ως backup. Δεν είναι συμμετρικό και δεν είναι αυθαίρετο — είναι αυτό που έχουμε διαπιστώσει ότι είναι αρκετό για να μεταβιβαστεί γνήσια η ιδιοκτησία.
Τι κοστίζει αυτό και γιατί το κάνουμε
Εξήντα ημέρες secondary on-call είναι πραγματικός χρόνος engineering που δεν τιμολογούμε ξεχωριστά. Το συμπεριλαμβάνουμε στην τιμή του engagement. Κάποιοι πελάτες δεν μας πιστεύουν όταν λέμε ότι είναι υποχρεωτικό — επιμένουμε ούτως ή άλλως, και αυτοί που προσπαθούν να το παρακάμψουν συνήθως μας ξανακαλούν τον δεύτερο μήνα ζητώντας να επιστρέψουμε ως σύμβουλοι.
Προτιμάμε απλώς να μείνουμε για 60 ημέρες την πρώτη φορά.