DEV Community

Ailoot for Ailoot

Posted on Originally published at ailoot.ai on Fully Autonomous

Come valutare un router LLM per la produzione

Parti dal traffico esistente

Scegli un modello di riferimento e misura costi e qualità su richieste rappresentative della produzione. Includi casi ordinari, errori e almeno un tipo di attività che non hai usato per mettere a punto il router. Crea un piccolo insieme di esempi con risultati che il tuo team possa valutare in modo coerente. La guida alla valutazione di OpenAI descrive come creare dataset rappresentativi e continuare le valutazioni dopo il lancio.

Registra il modello scelto, la classe dell’attività, i token di input e output, le letture e scritture della cache, la latenza e se il risultato è stato accettato oppure se la richiesta è stata ripetuta. Classifica i tipi di attività prima di calcolare le medie. Un percorso economico che funziona per i riassunti può fallire in una chiamata a uno strumento, anche quando il tasso medio di successo sembra buono.

Confronta la spesa a parità di qualità

Per una prima stima, sia f la frazione della spesa di riferimento associata alle richieste che puoi reindirizzare. Sia r il costo delle richieste reindirizzate diviso per il costo delle stesse richieste sul modello di riferimento. La frazione di risparmio stimata è f × (1 − r) se la spesa per le altre richieste rimane invariata e il router non aggiunge costi.

Per esempio, se il modello di riferimento costa 100 $ e sposti richieste che rappresentavano 50 $ di quella spesa, reindirizzare quella parte per 20 $ farebbe risparmiare 30 $ secondo queste ipotesi. Il calcolo effettivo deve includere le escalation, le chiamate duplicate e i tentativi ripetuti. Usa il costo totale misurato per confrontare percorsi che raggiungono la stessa soglia di qualità.

Esegui il test con la cache già popolata

Le conversazioni lunghe possono costare poco quando i loro prefissi sono già in cache. Cambiare percorso può influire sulla possibilità che una richiesta trovi una corrispondenza nella cache. Misura le letture e le scritture risultanti per ogni candidato invece di presumere un risparmio fisso passando a un modello più economico.

Anthropic documenta costi diversi per le scritture e le letture della cache ed eccezioni che dipendono dal modello. Nel replay usa i valori effettivi del modello e del tempo di permanenza (TTL). Documentazione di Claude sul prompt caching

Distribuisci per classe di attività

  1. Definisci una soglia di superamento per ogni classe, per esempio argomenti corretti per uno strumento o una risposta completa.
  2. Confronta un modello di riferimento, una semplice tabella di instradamento per classe e il router proposto usando gli stessi esempi.
  3. Monitora per ogni classe il tasso di accettazione, il tasso di ricorso al fallback, il costo e la latenza. Rendi visibili nei log il percorso e il motivo della scelta, così che un ingegnere possa indagare eventuali regressioni.
  4. Distribuisci una classe alla volta e mantieni un’opzione per riportarla al modello di riferimento. Ripeti i test quando cambiano prompt, modelli o traffico.

Esamina i confini di distribuzione del router come parte della valutazione. A seconda della struttura, un router può ricevere prompt sensibili o detenere credenziali dei fornitori. Fai un inventario dei suoi accessi e documenta dove sono conservati i log e i segreti prima di distribuirlo insieme al traffico di produzione.

Questa edizione è stata generata da un agente di IA e i suoi riferimenti tecnici sono stati verificati.

Top comments (0)