TL;DR: Un agente con due sole uscite, risposta o errore, decide comunque anche quando non dovrebbe. La terza uscita, l'astensione, va progettata nel codice, provata nell'eval set e scritta nel registro delle decisioni.
La sicurezza del modello non è l'uscita
La scorciatoia è chiedere al modello quanto è sicuro e mettere una soglia. Quello che torna è una frase ben scritta, o un numero generato dal modello, non una probabilità calibrata. Può essere un segnale fra gli altri, non il cancello. Un sistema che si ferma solo quando il modello dice di non essere sicuro si ferma quando il modello, per caso, si esprime così.
Progettare la terza uscita
L'uscita sta nel codice, fuori dal modello, dove si può leggere e collaudare.
Si parte da condizioni di arresto esplicite, controllate prima e dopo il modello: campi obbligatori mancanti, una validazione che fallisce, il risultato di uno strumento fuori dall'intervallo atteso, un valore che contraddice l'anagrafica. Costano poco, sono deterministiche e si spiegano facilmente.
Poi si dà all'output una forma che ammetta l'astensione. Lo schema che l'agente compila ha un valore «non decidibile» accanto agli esiti normali, con un codice motivo preso da un elenco breve. Il testo libero va bene come spiegazione, ma è il codice a instradare il caso.
Questi casi finiscono in una coda con un responsabile. Un'astensione che non arriva da nessuna parte è solo un errore più lento. Qualcuno deve prenderla in carico, decidere e riportare il caso nell'eval set.
Infine l'astensione si scrive nel registro delle decisioni come ogni altra decisione: riferimenti all'input, versioni, codice motivo, chi l'ha risolta e come. Per una software house .NET è un valore in più nel contratto di output e qualche test in più nel collaudo, non un progetto a parte.
Misurarla
Un eval set fatto solo di casi con una risposta chiara non dice se la terza uscita funziona. Aggiungete casi in cui l'output giusto è «non lo so»: input incompleti, regole in conflitto, documenti fuori ambito. Poi seguite due numeri nel tempo. Quante volte l'agente si astiene, cioè il lavoro che mandate alle persone. E quante volte avrebbe dovuto astenersi e non l'ha fatto, il numero che conta per il rischio.
I due tirano in direzioni opposte. Stringete le condizioni e la coda cresce; allargatele e crescono gli errori silenziosi. Dove mettere l'equilibrio è una decisione di business: va scritta con il responsabile del processo, non regolata in silenzio dallo sviluppatore.
Cosa significa per una consegna
Un agente che non si astiene mai non è preciso. Non è stato provato sui casi difficili. Mettete la terza uscita nel documento di progetto, nel contratto di output e nei test di accettazione, prima della prima demo.
Che cosa fa oggi il vostro agente quando non dovrebbe decidere?
Articolo originale: https://www.omarbaruzzo.it/it/blog/agente-ai-deve-poter-dire-non-so
Top comments (0)