Chi porta agenti vocali in produzione sbatte tutto contro lo stesso muro: un LLM lasciato libero è brillante nel come parla, e inaffidabile nel cosa fa. Dimentica passaggi, chiama lo strumento sbagliato al momento sbagliato, salta la verifica dell’identità, promette cose fuori policy. In una demo non si vede. Su migliaia di chiamate reali, sì. La naturalezza è necessaria ma non sufficiente.

 La vecchia risposta — e perché con l’S2S salta

Per anni la soluzione è stata una: metti davanti al modello una macchina a stati che governa il flusso. STT → LLM → TTS, l’orchestratore nel loop a ogni turno, la FSM che decide la prossima domanda, il modello che lavora dentro lo stato. Funziona — ma assume una pipeline a turni di testo.

Con i modelli speech-to-speech quell’assunto crolla. Un solo stream audio bidirezionale, il rilevamento del turno lato server, il modello che ascolta e risponde in tempo reale. Non esiste più un “tra un turno e l’altro” dove infilare la macchina a stati. E non lo vuoi nemmeno: è proprio il modello a gestire ritmo, sovrapposizioni e interruzioni meglio di qualsiasi FSM.

 Sposti il determinismo dove conta: sull’esito

Se il modello conduce la conversazione, il controllo lo sposti dove il rischio è reale — non sul flusso, sull’azione. Due piani, due responsabilità. Il modello conduce: comprende, improvvisa, cambia l’ordine delle domande, si adatta al tono. L’harness è il piano deterministico, ma lavora fuori banda, non a dettare le battute: decide quali strumenti esistono in questo preciso istante, quali dati sono obbligatori prima di procedere e — soprattutto — se l’azione irreversibile può partire.

Attenzione: il punto di controllo non è sparito, è cambiato l’aggancio. Non più a ogni turno, ma a ogni azione. Quando il modello prova a invocare uno strumento, il backend esegue, valida e risponde prima di lasciarlo proseguire: quello è l’hook sincrono che ti resta anche in un motore S2S.

 L’harness: capacità su richiesta, non un copione

È esattamente ciò che mostra il diagramma qui sopra. Obiettivi, guardrail e policy in cima; sotto, i moduli collegati da linee tratteggiate, perché l’agente li attiva solo quando servono nel contesto. Non è una sequenza rigida di stati: è un insieme di capacità presidiate.

• Obiettivi, guardrail e policyDefiniscono i confini: cosa l’agente può fare, cosa deve rifiutare, quando fermarsi o passare a un operatore umano.
• Chiamate a strumentiEsposti solo quando sono validi. In un agente che prende appuntamenti, lo strumento per confermare la prenotazione non esiste nella sessione finché i dati non sono completi e il cliente non ha confermato un riepilogo riletto dal backend, a valori esatti. E anche quando il modello tenta la chiamata, il backend ri-valida e può negarla.
• SupervisoriSorveglianza sulle decisioni ad alto rischio: la risposta è ancorata a ciò che è stato recuperato? L’azione è consentita? Va fatta escalation?
• Barge-inIn un motore S2S lo gestisce il modello stesso, lato server. È la ragione per cui non gli metti davanti una FSM che scandisce i turni: gli toglieresti l’unica cosa che fa meglio di te.
• Mascheramento datiI dati sensibili vengono oscurati prima dell’elaborazione, nei log e nei sistemi a valle. Non è una casella di compliance, è un prerequisito.
• TracciamentoOgni interazione registrata per audit, analisi e miglioramento — e in S2S questo modulo è più critico di quanto sembri (torniamo sotto).

Da qui esce una regola netta. Ciò che finisce nei sistemi a valle non è l’improvvisazione del modello: è ri-derivato, normalizzato e verificato dal backend. La macchina a stati non è morta — è retrocessa. Non guida più il dialogo: fa da guardia sul commit. Una FSM di transazione che presidia l’unico momento che non si può disfare.

 Cosa ci guadagni — e cosa devi costruirti

Prevedibilità sull’esito invece che sull’eloquio. Sicurezza sulle tool call, perché esponi solo ciò che è valido ora. Un punto di controllo unico per policy e conferme. Recupero pilotato quando qualcosa va storto. E una naturalezza che una FSM che detta ogni turno non ti darà mai.

Un avvertimento onesto, però. Spostando il controllo fuori dal flusso perdi la tracciabilità “gratis” che l’FSM classica ti regalava — ogni decisione ancorata a uno stato. In S2S l’osservabilità te la devi costruire apposta, o resti cieco proprio dove il modello improvvisa. Chi salta questo pezzo scopre in produzione di avere un agente che sembra funzionare e non sa spiegare perché.

In conclusione

Il punto di fondo non cambia: nei sistemi vocali non si vince sul modello, si vince sullo strato di orchestrazione che gli costruisci intorno. Cambia dove lo metti. Con l’S2S, il supervisore non guida la conversazione — ne presidia le conseguenze.