Ukratko: Verzija modela ima objavljen datum kraja. Zamjena je izdanje: eval set, stvarni prošli slučajevi, shadow, zakucana verzija i verzija modela zabilježena uz svaku odluku.
Zašto je zamjena modela izdanje
Ponašanje agenta je kombinacija prompta i modela. Prompt je napisan, testiran i doteran prema jednoj točnoj verziji: formulacija, primjeri, način na koji traži strukturirani izlaz. Kad promijenite model, isti prompt može dati drugačiji ton, drugačije argumente u tool callovima, drugačiji prag za "nisam siguran". Nije se promijenio nijedan redak vašeg koda, a agent više nije onaj koji ste testirali. Zato obavijest o povlačenju nije konfiguracijski zadatak. To je promjena ovisnosti koju ne kontrolirate i zaslužuje iste korake kao svako drugo izdanje.
Što napraviti prije prebacivanja
Počnite s eval setom. Ako ga klijent ima, sa stvarnim slučajevima i očekivanim ishodima, pokrenite ga na novom modelu i čitajte razlike, ne samo postotak uspjeha: slučaj koji je prešao iz točnog u pogrešno važi više od dva koja su prešla u suprotnom smjeru. Zatim ponovno odigrajte uzorak stvarnih prošlih odluka i usporedite. Provjerite i ono što se mijenja oko odgovora: format tool callova, latenciju, cijenu po zadatku, koliko često model odbija ili traži pojašnjenje. Držite novi model u shadow modu uz stari onoliko dugo koliko odgovara riziku: vidi stvarni input, ali se njegov izlaz samo uspoređuje, ne izvršava. Rollback ostaje dok stara verzija stvarno ne nestane, a datum nakon kojeg nestaje zapišite.
Što to poslije čini jeftinim
Tri male odluke donesene pri isporuci. Zakucajte točnu verziju modela u konfiguraciji, nikad alias koji se sam pomiče, jer alias pretvara planiranu zamjenu u iznenađenje. Datum povlačenja stavite u kalendar nekoga tko nije autor agenta, s podsjetnikom dovoljno ranim da stignete odraditi gornje korake. I uz svaku odluku u decision logu zabilježite verziju modela, da mjesecima poslije možete reći koja je verzija donijela određenu odluku i ponovno je odigrati na novoj.
Što to znači za isporuku
Za tvrtku u regiji koja isporučuje agenta stranom klijentu, model je dobavljač s objavljenim datumom kraja. Paket za primopredaju treba reći koja verzija radi, kada se povlači, koga se obavještava i gdje je eval set. Za sustave visokog rizika AI Act traži od onoga tko ih koristi da nadzire rad i čuva logove: kad se model promijeni, mijenja se i ono što nadzirete, a log je ono što omogućuje da pokažete prije i poslije.
Tko je danas zadužen za datum povlačenja modela na kojem radi vaš agent?
Articolo originale: https://www.omarbaruzzo.it/hr/blog/modello-agente-ritirato
Top comments (0)