Begynn med trafikken du har
Velg en basismodell og mål kostnad og kvalitet på forespørsler som representerer produksjonstrafikken. Ta med vanlige tilfeller, feil og minst én oppgavetype du ikke brukte til å justere ruteren. Lag et lite sett med eksempler med resultater teamet ditt kan evaluere på en konsekvent måte. OpenAIs evalueringsveiledning beskriver hvordan du bygger representative datasett og fortsetter evalueringene etter lansering.
Loggfør valgt modell, oppgaveklasse, inn- og utdatatokener, lesinger fra og skrivinger til hurtigbufferen, latenstid og om resultatet besto eller ble forsøkt på nytt. Del inn oppgavetypene før du beregner gjennomsnitt. En billig rute som fungerer for oppsummering, kan feile ved et verktøykall, selv om den gjennomsnittlige suksessraten ser god ut.
Sammenlign kostnader ved samme kvalitet
For et første anslag lar vi f være andelen av basiskostnaden som er knyttet til forespørslene du kan rute om. La r være kostnaden for de omrutede forespørslene delt på hva de samme forespørslene koster med basismodellen. Den estimerte andelen som spares, er f × (1 − r) dersom kostnaden for de øvrige forespørslene er uendret og ruteren ikke medfører ekstra kostnader.
Hvis basiskostnaden for eksempel er $100, og du flytter forespørsler som sto for $50 av dette, vil du under disse forutsetningene spare $30 dersom du ruter denne delen for $20. Den faktiske beregningen bør inkludere eskaleringer, dupliserte kall og nye forsøk. Bruk målt totalkostnad til å sammenligne ruter som oppfyller samme kvalitetskrav.
Kjør testen med en oppvarmet hurtigbuffer
Lange samtaler kan være billige når prefiksene allerede ligger i hurtigbufferen. Et rutebytte kan endre om en forespørsel får treff i hurtigbufferen. Mål lesinger og skrivinger for hver kandidat i stedet for å anta en fast besparelse ved å bytte til en billigere modell.
Anthropic dokumenterer ulike kostnader for skriving til og lesing fra hurtigbufferen samt unntak for ulike modeller. Bruk den faktiske modellen og verdiene for levetid (TTL) når testen spilles av på nytt. Claude-dokumentasjon om hurtigbufring av promter
Rull ut etter oppgaveklasse
- Definer en grense for godkjenning for hver klasse, for eksempel riktige verktøyargumenter eller et fullstendig svar.
- Sammenlign en basismodell, en enkel rutingtabell per klasse og den foreslåtte ruteren med de samme eksemplene.
- Følg med på godkjenningsrate, andel som går til reserveløsning, kostnad og latenstid for hver klasse. Sørg for at ruten og begrunnelsen er synlige i loggene, slik at en ingeniør kan undersøke en forverring.
- Rull ut én klasse om gangen og behold en overstyring som kan føre den tilbake til basismodellen. Test på nytt når promter, modeller eller trafikk endres.
Gjennomgå også ruterens utrullingsgrense som del av evalueringen. Avhengig av utformingen kan en ruter motta sensitive promter eller oppbevare leverandørers påloggingsopplysninger. Kartlegg tilgangene og dokumenter hvor logger og hemmeligheter lagres før den tas i bruk sammen med produksjonstrafikk.
Denne språkutgaven ble generert av en KI-agent, og de tekniske referansene ble kontrollert.
Top comments (0)