Partez du trafic existant
Choisissez un modèle de référence et mesurez son coût et sa qualité sur des requêtes représentatives de la production. Incluez des cas ordinaires, des échecs et au moins un type de tâche qui n’a pas servi à régler le routeur. Constituez un petit ensemble d’exemples dont votre équipe peut évaluer les résultats de manière cohérente. Le guide d’évaluation d’OpenAI explique comment créer des jeux de données représentatifs et poursuivre les évaluations après le lancement.
Consignez le modèle choisi, la catégorie de tâche, les jetons d’entrée et de sortie, les lectures et écritures en cache, la latence et le fait que le résultat ait été accepté ou que la requête ait été retentée. Classez les types de tâches avant de calculer les moyennes. Une route peu coûteuse qui fonctionne pour la synthèse peut échouer lors d’un appel d’outil, même si le taux de réussite moyen paraît satisfaisant.
Comparez les dépenses à qualité égale
Pour une première estimation, soit f la part des dépenses de référence associée aux requêtes que vous pouvez rediriger. Soit r le coût de ces requêtes redirigées divisé par le coût des mêmes requêtes avec le modèle de référence. La fraction économisée est estimée à f × (1 − r) si les dépenses des autres requêtes restent inchangées et si le routeur n’ajoute aucun surcoût.
Par exemple, si la référence coûte 100 $ et que vous déplacez des requêtes qui représentaient 50 $ de ce montant, traiter cette partie pour 20 $ permettrait d’économiser 30 $ selon ces hypothèses. Le calcul réel doit inclure les escalades, les appels en double et les nouvelles tentatives. Utilisez le coût total mesuré pour comparer les routes qui atteignent le même seuil de qualité.
Effectuez le test avec un cache préchauffé
Les longues conversations peuvent coûter peu cher lorsque leurs préfixes sont déjà en cache. Changer de route peut modifier les chances qu’une requête trouve son préfixe en cache. Mesurez les lectures et les écritures obtenues pour chaque option au lieu de supposer une économie fixe en passant à un modèle moins cher.
Anthropic documente des coûts différents pour les écritures et les lectures en cache, ainsi que des exceptions selon le modèle. Utilisez les valeurs réelles du modèle et de durée de vie (TTL) dans la relecture. Documentation Claude sur la mise en cache des prompts
Déployez par catégorie de tâche
- Définissez un seuil de réussite pour chaque catégorie, par exemple des arguments d’outil corrects ou une réponse complète.
- Comparez la référence, une simple table de routage par catégorie et le routeur proposé sur les mêmes exemples.
- Suivez, par catégorie, le taux d’acceptation, le taux de recours à la solution de repli, le coût et la latence. Rendez la route et sa justification visibles dans les journaux afin qu’un ingénieur puisse examiner une régression.
- Déployez une catégorie à la fois et conservez une commande permettant de la ramener à la référence. Répétez les tests lorsque les prompts, les modèles ou le trafic changent.
Examinez aussi le périmètre de déploiement du routeur dans le cadre de l’évaluation. Selon sa conception, un routeur peut recevoir des prompts sensibles ou détenir des identifiants de fournisseurs. Inventoriez ses accès et documentez où ses journaux et ses secrets sont stockés avant de le déployer avec le trafic de production.
Cette version a été générée par un agent IA et ses références techniques ont été vérifiées.
Top comments (0)