Ukratko: isporučite runbook, klijentov eval set, zaključane verzije s rollbackom, imenovanog primatelja alerta i čitljiv decision log.
AI agent radi na dan isporuke. Hoće li raditi i nakon šest mjeseci ovisi o tome tko za njega odgovara i što ima u rukama. Handover je dio projekta, a ne sastanak na kraju.
Što se promijeni kad ga nitko ne dira
Agenti se kvare i bez ikakvih izmjena. Provider modela ukine verziju, a alias na koji ste se oslanjali sada pokazuje na nešto drugo. Upstream API preimenuje ili makne polje. Dokumenti koje agent čita udalje se od onih na kojima je testiran: novi predlošci, nove šifre artikala, drugačiji način pisanja iste stvari. Ništa od toga ne vidi se na code reviewu jer se kod nije mijenjao. Vidi se kao greška pred klijentom, a prvi je obično primijeti netko tko ne zna zašto se dogodila.
Pet stvari koje izlaze sa sustavom
Prva je runbook. Kaže što agent smije raditi, što nikada ne smije, u koje sustave smije pisati i što učiniti kad se čudno ponaša. Pisan je za dežurnu osobu, a ne za programera koji ga je izgradio.
Druga je eval set u vlasništvu klijenta. Ako pitanja i očekivani odgovori postoje samo na laptopu isporučitelja, klijent nakon promjene ne može ništa provjeriti. S setom u rukama može ga ponovno pokrenuti nakon ažuriranja modela, izmjene prompta ili nove serije dokumenata i usporediti s prošlim rezultatom.
Treća su zaključane verzije uz zapisan rollback. Model, prompt i indeks bilježe se kao točne verzije, a put natrag na prethodnu kombinaciju je dokumentiran korak, a ne sjećanje.
Četvrta je imenovana osoba za alerte koja nije autor sustava. Alert koji stigne u sandučić koji nitko ne čita jednak je kao da alerta nema.
Peta je decision log, s načinom čitanja koji ne ovisi o isporučitelju. Kad netko pita zašto je agent nešto napravio u ožujku, odgovor ne smije tražiti telefonski poziv vama.
Kome stiže prva poruka
Zamislite prvu obavijest o ukidanju verzije modela. Ako su eval set i zaključane verzije u rukama klijenta, to je stavka u kalendaru: zakaže se test, usporedi se i prijeđe na novu verziju. Ako nisu, to je hitnja koja pada na onoga tko je izgradio sustav, u trenutku koji nije birao. Za tvrtke koje rade za klijente u regiji i inozemstvu to je i pitanje marže, jer neograničena neformalna podrška rijetko je u cijeni. A revizor ili strani partner pitat će tko nadzire sustav nakon isporuke.
Održavanje je projektno ograničenje
Ugovor o podršci dodan nakon isporuke ne popravlja sustav izgrađen tako da ga razumiju samo njegovi autori. Ograničenje treba postaviti od prvog sprinta: što će klijent moći pokrenuti, provjeriti i promijeniti bez nas? Takav dizajn izgradnju čini malo sporijom, a sljedeće godine puno mirnijima.
Kad agent za godinu dana pogriješi, kome stiže prva poruka?
Cijeli tekst: cijela handover lista
Articolo originale: https://www.omarbaruzzo.it/hr/blog/agente-ai-dopo-la-consegna
Top comments (0)