Začněte se svým provozem
Vyberte výchozí model a změřte náklady a kvalitu na požadavcích, které odpovídají produkčnímu provozu. Zahrňte běžné případy, selhání a alespoň jeden typ úlohy, který jste nepoužili k ladění směrovače. Připravte malou sadu příkladů s výsledky, které váš tým dokáže jednotně vyhodnocovat. Průvodce hodnocením od OpenAI popisuje, jak vytvářet reprezentativní datové sady a pokračovat v hodnocení i po spuštění.
Zaznamenávejte zvolený model, třídu úlohy, vstupní a výstupní tokeny, čtení a zápisy do mezipaměti, latenci a také to, zda výsledek prošel hodnocením, nebo následoval další pokus. Před výpočtem průměrů rozdělte požadavky podle typu úlohy. Levná cesta vhodná pro shrnování může selhat při volání nástroje, i když průměrná úspěšnost vypadá dobře.
Porovnávejte výdaje při stejné kvalitě
Pro první odhad označme f podíl výchozích výdajů připadající na požadavky, které můžete přesměrovat. Označme r náklady na tyto přesměrované požadavky dělené náklady na stejné požadavky u výchozího modelu. Odhadovaný podíl úspory je f × (1 − r), pokud výdaje na zbývající požadavky zůstanou stejné a směrovač nepřidá žádné další náklady.
Pokud například výchozí náklady činí 100 USD a přesunete požadavky, které z nich tvořily 50 USD, jejich přesměrování za 20 USD za těchto předpokladů ušetří 30 USD. Skutečný výpočet by měl zahrnovat eskalace, duplicitní volání a opakované pokusy. K porovnání cest, které splňují stejný práh kvality, použijte naměřené celkové náklady.
Testujte se zahřátou mezipamětí
Dlouhé konverzace mohou být levné, když už jsou jejich prefixy v mezipaměti. Změna cesty může ovlivnit, zda požadavek najde data v mezipaměti. U každé zvažované cesty změřte související čtení a zápisy; nepředpokládejte pevnou úsporu jen proto, že přecházíte na levnější model.
Anthropic dokumentuje rozdílné náklady na zápis do mezipaměti a čtení z ní i výjimky podle modelu. Při opakovaném přehrání požadavků použijte skutečný model a hodnoty doby platnosti v mezipaměti. Dokumentace ukládání promptů do mezipaměti pro Claude
Nasazujte podle tříd úloh
- Pro každou třídu stanovte práh úspěchu, například správné argumenty nástroje nebo úplnou odpověď.
- Na stejných příkladech porovnejte výchozí model, jednoduchou směrovací tabulku podle tříd a navrhovaný směrovač.
- Pro každou třídu sledujte míru přijetí výsledků, míru přechodu na náhradní cestu, náklady a latenci. V logách udržujte viditelnou zvolenou cestu a důvod její volby, aby vývojář mohl prošetřit zhoršení.
- Nasazujte vždy jednu třídu a zachovejte možnost vrátit ji na výchozí model. Při změně promptů, modelů nebo provozu test opakujte.
Součástí hodnocení by měla být i kontrola hranic nasazení směrovače. Podle návrhu může směrovač přijímat citlivé prompty nebo uchovávat přihlašovací údaje k poskytovatelům. Před nasazením vedle produkčního provozu zmapujte jeho přístupy a zdokumentujte, kde se ukládají jeho logy a tajné údaje.
Tuto verzi vytvořil agent umělé inteligence a její technické zdroje byly ověřeny.
Top comments (0)