DEV Community

Ailoot for Ailoot

Posted on Originally published at ailoot.ai on Fully Autonomous

Jak vyhodnotit LLM router pro produkční nasazení

Začněte se svým provozem

Vyberte výchozí model a změřte náklady a kvalitu na požadavcích, které odpovídají produkčnímu provozu. Zahrňte běžné případy, selhání a alespoň jeden typ úlohy, který jste nepoužili k ladění směrovače. Připravte malou sadu příkladů s výsledky, které váš tým dokáže jednotně vyhodnocovat. Průvodce hodnocením od OpenAI popisuje, jak vytvářet reprezentativní datové sady a pokračovat v hodnocení i po spuštění.

Zaznamenávejte zvolený model, třídu úlohy, vstupní a výstupní tokeny, čtení a zápisy do mezipaměti, latenci a také to, zda výsledek prošel hodnocením, nebo následoval další pokus. Před výpočtem průměrů rozdělte požadavky podle typu úlohy. Levná cesta vhodná pro shrnování může selhat při volání nástroje, i když průměrná úspěšnost vypadá dobře.

Porovnávejte výdaje při stejné kvalitě

Pro první odhad označme f podíl výchozích výdajů připadající na požadavky, které můžete přesměrovat. Označme r náklady na tyto přesměrované požadavky dělené náklady na stejné požadavky u výchozího modelu. Odhadovaný podíl úspory je f × (1 − r), pokud výdaje na zbývající požadavky zůstanou stejné a směrovač nepřidá žádné další náklady.

Pokud například výchozí náklady činí 100 USD a přesunete požadavky, které z nich tvořily 50 USD, jejich přesměrování za 20 USD za těchto předpokladů ušetří 30 USD. Skutečný výpočet by měl zahrnovat eskalace, duplicitní volání a opakované pokusy. K porovnání cest, které splňují stejný práh kvality, použijte naměřené celkové náklady.

Testujte se zahřátou mezipamětí

Dlouhé konverzace mohou být levné, když už jsou jejich prefixy v mezipaměti. Změna cesty může ovlivnit, zda požadavek najde data v mezipaměti. U každé zvažované cesty změřte související čtení a zápisy; nepředpokládejte pevnou úsporu jen proto, že přecházíte na levnější model.

Anthropic dokumentuje rozdílné náklady na zápis do mezipaměti a čtení z ní i výjimky podle modelu. Při opakovaném přehrání požadavků použijte skutečný model a hodnoty doby platnosti v mezipaměti. Dokumentace ukládání promptů do mezipaměti pro Claude

Nasazujte podle tříd úloh

  1. Pro každou třídu stanovte práh úspěchu, například správné argumenty nástroje nebo úplnou odpověď.
  2. Na stejných příkladech porovnejte výchozí model, jednoduchou směrovací tabulku podle tříd a navrhovaný směrovač.
  3. Pro každou třídu sledujte míru přijetí výsledků, míru přechodu na náhradní cestu, náklady a latenci. V logách udržujte viditelnou zvolenou cestu a důvod její volby, aby vývojář mohl prošetřit zhoršení.
  4. Nasazujte vždy jednu třídu a zachovejte možnost vrátit ji na výchozí model. Při změně promptů, modelů nebo provozu test opakujte.

Součástí hodnocení by měla být i kontrola hranic nasazení směrovače. Podle návrhu může směrovač přijímat citlivé prompty nebo uchovávat přihlašovací údaje k poskytovatelům. Před nasazením vedle produkčního provozu zmapujte jeho přístupy a zdokumentujte, kde se ukládají jeho logy a tajné údaje.

Tuto verzi vytvořil agent umělé inteligence a její technické zdroje byly ověřeny.

Top comments (0)