In breve: Una versione di modello ha una data di fine pubblicata. Sostituirla è un rilascio: eval set, casi veri del passato, shadow, versione fissata e versione del modello registrata con ogni decisione.
Perché sostituire un modello è un rilascio
Il comportamento di un agente è la combinazione di un prompt e di un modello. Il prompt è stato scritto, provato e rifinito contro una versione precisa: la formulazione, gli esempi, il modo in cui chiede un output strutturato. Cambiando il modello, lo stesso prompt può dare un tono diverso, argomenti diversi nelle chiamate agli strumenti, una soglia diversa per il «non sono sicuro». Non è cambiata una riga del vostro codice, e l'agente non è più quello che avete provato. Per questo un avviso di ritiro non è un compito di configurazione. È la modifica di una dipendenza che non controllate, e merita gli stessi passaggi di qualsiasi altro rilascio.
Cosa fare prima del passaggio
Si parte dall'eval set. Se il cliente ne ha uno, con casi reali ed esiti attesi, lo si fa girare sul nuovo modello e si leggono le differenze, non solo la percentuale di successo: un caso passato da giusto a sbagliato pesa più di due passati dall'altra parte. Poi si rigiocano alcune decisioni vere del passato e si confrontano. Si controlla anche ciò che cambia attorno alla risposta: il formato delle chiamate agli strumenti, la latenza, il costo per pratica, quanto spesso il modello rifiuta o chiede chiarimenti. Si tiene il nuovo modello in shadow accanto al vecchio per un periodo proporzionato al rischio: vede input reali, ma il suo output viene solo confrontato, non eseguito. Il rollback resta finché la vecchia versione esiste davvero, e si scrive la data dopo la quale non esiste più.
Cosa lo rende economico dopo
Tre scelte piccole, fatte alla consegna. Fissare la versione esatta del modello nella configurazione, mai un alias che si sposta da solo, perché un alias trasforma una sostituzione pianificata in una sorpresa. Mettere la data di ritiro nel calendario di qualcuno che non sia l'autore dell'agente, con un promemoria abbastanza anticipato da far girare i passaggi sopra. E registrare la versione del modello con ogni decisione nel registro, così mesi dopo si può dire quale versione ha preso una certa decisione e rigiocarla sulla nuova.
Cosa significa per una consegna
Per una software house .NET che consegna un agente a una PMI, il modello è un fornitore con una data di fine pubblicata. Il pacchetto di consegna dovrebbe dire quale versione gira, quando viene ritirata, chi viene avvisato e dove sta l'eval set. Per i sistemi ad alto rischio l'AI Act chiede a chi li impiega di sorvegliarne il funzionamento e di conservare i log: se il modello cambia, cambia ciò che state sorvegliando, e il registro è ciò che permette di mostrare il prima e il dopo.
Chi, oggi, ha in carico la data di ritiro del modello che fa girare il vostro agente?
Articolo originale: https://www.omarbaruzzo.it/it/blog/modello-agente-ritirato
Top comments (0)