Indulj ki a meglévő forgalomból
Válassz egy alapmodellt, és mérd a költségét és a minőségét az éles forgalmat reprezentáló kéréseken. Szerepeljenek köztük szokásos esetek, hibák és legalább egy olyan feladattípus, amelyet nem használtál az útválasztó hangolásához. Állíts össze egy kis példakészletet olyan eredményekkel, amelyeket a csapatod következetesen tud értékelni. Az OpenAI értékelési útmutatója bemutatja, hogyan építs reprezentatív adatkészleteket, és hogyan folytasd az értékelést az indulás után.
Naplózd a kiválasztott modellt, a feladatkategóriát, a bemeneti és kimeneti tokenek számát, a gyorsítótár olvasásait és írásait, a késleltetést, valamint azt, hogy az eredmény megfelelt-e, vagy újrapróbálkozás történt. Az átlagok kiszámítása előtt sorold kategóriákba a feladattípusokat. Egy olcsó útvonal, amely összefoglalásra megfelelő, eszközhívásnál elbukhat akkor is, ha az átlagos sikerességi arány megfelelőnek látszik.
Azonos minőség mellett hasonlítsd össze a kiadásokat
Első becslésként legyen f az átirányítható kérésekhez tartozó alapmodell-kiadás aránya. Legyen r az átirányított kérések költsége osztva azzal, amennyibe ugyanezek a kérések az alapmodellen kerültek. A megtakarítás becsült aránya f × (1 − r), ha a többi kérésre fordított összeg változatlan, és az útválasztó nem okoz többletköltséget.
Például ha az alapmodell költsége 100 dollár, és áthelyezel olyan kéréseket, amelyek ebből 50 dollárt tettek ki, akkor ennek a résznek a 20 dolláros feldolgozása a fenti feltételek mellett 30 dollárt takarítana meg. A tényleges számításba az eszkalációkat, az ismétlődő hívásokat és az újrapróbálkozásokat is vedd bele. A mért teljes költséggel hasonlítsd össze az azonos minőségi küszöböt teljesítő útvonalakat.
Meleg gyorsítótárral futtasd a tesztet
A hosszú beszélgetések olcsók lehetnek, ha az előtagjaik már a gyorsítótárban vannak. Az útvonalváltás befolyásolhatja, hogy egy kérés talál-e egyezést a gyorsítótárban. Mérd meg minden jelöltnél a keletkező olvasásokat és írásokat ahelyett, hogy egy olcsóbb modellre váltástól állandó megtakarítást várnál.
Az Anthropic különböző költségeket dokumentál a gyorsítótár írásaira és olvasásaira, valamint modellenkénti kivételeket is leír. A visszajátszásban a tényleges modell- és élettartam- (TTL-) értékeket használd. A Claude prompt-gyorsítótárazási dokumentációja
Feladatkategóriánként vezesd be
- Határozz meg megfelelési küszöböt minden kategóriához, például helyes eszközargumentumokat vagy teljes választ.
- Ugyanazokon a példákon hasonlítsd össze az alapmodellt, egy egyszerű kategóriánkénti útválasztási táblát és a javasolt útválasztót.
- Kategóriánként kövesd az elfogadási arányt, a tartalék útvonalra váltás arányát, a költséget és a késleltetést. Az útvonal és a választás oka látszódjon a naplókban, hogy egy mérnök kivizsgálhassa a visszaesést.
- Egyszerre egy kategóriát vezess be, és maradjon lehetőség annak visszaállítására az alapmodellre. Tesztelj újra, ha a promptok, a modellek vagy a forgalom megváltozik.
Az értékelés részeként vizsgáld meg az útválasztó telepítési határait is. A kialakítástól függően az útválasztó érzékeny promptokat kaphat vagy szolgáltatói hitelesítő adatokat tárolhat. Vedd számba a hozzáféréseit, és dokumentáld, hol tárolja a naplóit és a titkos adatokat, mielőtt az éles forgalom mellé telepíted.
Ezt a változatot egy MI-ügynök hozta létre, és a technikai hivatkozásait ellenőrizték.
Top comments (0)