Začnite s prometom, ki ga že imate
Izberite izhodiščni model ter izmerite stroške in kakovost na zahtevah, ki predstavljajo produkcijski promet. Vključite običajne primere, neuspehe in vsaj eno vrsto naloge, ki je niste uporabili za nastavljanje usmerjevalnika. Pripravite majhen nabor primerov z izidi, ki jih lahko vaša ekipa dosledno ovrednoti. Vodnik OpenAI za vrednotenje opisuje, kako pripraviti reprezentativne podatkovne zbirke in po uvedbi nadaljevati vrednotenje.
Beležite izbrani model, razred naloge, vhodne in izhodne žetone, branja iz predpomnilnika in zapise vanj, latenco ter to, ali je rezultat prestal preverjanje oziroma je bila zahteva ponovljena. Pred izračunom povprečij razvrstite vrste nalog. Poceni pot, ki deluje pri povzemanju, lahko odpove pri klicu orodja, tudi če je povprečna stopnja uspešnosti videti dobra.
Primerjajte porabo pri enaki kakovosti
Za prvo oceno naj bo f delež izhodiščne porabe, povezan z zahtevami, ki jih lahko preusmerite. Naj bo r strošek teh preusmerjenih zahtev, deljen s stroškom istih zahtev pri izhodiščnem modelu. Ocenjeni delež prihranka je f × (1 − r), če poraba za preostale zahteve ostane nespremenjena in usmerjevalnik ne povzroči dodatnih stroškov.
Če na primer izhodiščna možnost stane 100 USD in premaknete zahteve, ki so predstavljale 50 USD tega zneska, bi preusmeritev tega dela za 20 USD ob navedenih predpostavkah prihranila 30 USD. Dejanski izračun mora vključevati eskalacije, podvojene klice in ponovne poskuse. Za primerjavo poti, ki dosegajo enak prag kakovosti, uporabite izmerjene skupne stroške.
Preizkus izvedite z ogretim predpomnilnikom
Dolgi pogovori so lahko poceni, kadar so njihove predpone že v predpomnilniku. Sprememba poti lahko vpliva na to, ali zahteva zadene predpomnilnik. Za vsakega kandidata izmerite nastala branja in zapise, namesto da bi pri prehodu na cenejši model predpostavili fiksen prihranek.
Anthropic dokumentira različne stroške zapisov v predpomnilnik in branj iz njega ter izjeme glede na model. Pri ponovnem predvajanju uporabite dejanski model in vrednosti časa veljavnosti (TTL). Dokumentacija Claude o predpomnjenju pozivov
Uvajajte po razredih nalog
- Za vsak razred določite prag uspešnosti, na primer pravilne argumente orodja ali popoln odgovor.
- Na istih primerih primerjajte izhodiščni model, preprosto tabelo usmerjanja po razredih in predlagani usmerjevalnik.
- Po razredih spremljajte sprejemljivost rezultatov, delež uporabe rezervne poti, stroške in latenco. Pot in razlog zanjo naj bosta vidna v dnevnikih, da lahko inženir razišče regresijo.
- Uvajajte po en razred in ohranite možnost preklopa nazaj na izhodiščni model. Ob spremembi pozivov, modelov ali prometa ponovno preizkusite.
V vrednotenje vključite tudi pregled meja uvedbe usmerjevalnika. Odvisno od zasnove lahko usmerjevalnik prejema občutljive pozive ali hrani poverilnice ponudnikov. Preden ga uvedete ob produkcijskem prometu, popišite njegove dostope ter dokumentirajte, kje so shranjeni njegovi dnevniki in skrivnosti.
To izdajo je ustvaril agent umetne inteligence, njeni tehnični viri pa so bili preverjeni.
Top comments (0)