現在のトラフィックから始める
基準となるモデルを選び、本番環境を代表するリクエストでコストと品質を測定します。通常のケース、失敗例、ルーターの調整には使わなかったタスク種別を少なくとも1つ含めます。チームが一貫した基準で結果を評価できる少数の例を用意します。OpenAIの評価ガイドでは、代表性のあるデータセットの作成方法と、リリース後も評価を続ける方法を説明しています。
選択したモデル、タスクの分類、入力・出力トークン数、キャッシュの読み取りと書き込み、レイテンシ、結果が合格したか再試行されたかを記録します。平均を計算する前にタスク種別を分類してください。要約には使える安価な経路でも、平均成功率が良好に見える一方で、ツール呼び出しには失敗することがあります。
同じ品質で支出を比較する
まず、経路を変更できるリクエストに対応する基準モデルの支出の割合を f とします。それらのリクエストの変更後のコストを、同じリクエストを基準モデルで処理したコストで割った値を r とします。残りのリクエストへの支出が変わらず、ルーターによる追加コストもない場合、節約率の推定値は f × (1 − r) です。
たとえば、基準モデルのコストが100ドルで、そのうち50ドル分のリクエストを移し、移行後のコストが20ドルなら、この前提では30ドルを節約できます。実際の計算にはエスカレーション、重複呼び出し、再試行を含める必要があります。測定した総コストを使い、同じ品質基準を満たす経路を比較します。
キャッシュが温まった状態でテストする
長い会話でも、プレフィックスがすでにキャッシュされていれば安くなることがあります。経路を切り替えると、リクエストがキャッシュヒットするかどうかが変わる可能性があります。安いモデルに移れば一定額を節約できると決めつけず、候補ごとに実際の読み取りと書き込みを測定します。
Anthropicは、キャッシュの書き込みと読み取りでコストが異なることや、モデルによる例外を文書化しています。リプレイには実際のモデルと有効期間(TTL)の値を使ってください。Claudeのプロンプトキャッシュに関するドキュメント
タスクの分類ごとに展開する
- ツールの引数が正しいことや回答が完全であることなど、分類ごとに合格基準を定義します。
- 基準モデル、分類ごとのシンプルなルーティングテーブル、提案するルーターを、同じ例で比較します。
- 分類ごとの合格率、フォールバック率、コスト、レイテンシを追跡します。エンジニアが性能低下を調査できるよう、選択した経路とその理由をログで確認できるようにします。
- 一度に1分類ずつ展開し、基準モデルに戻せる手段を残します。プロンプト、モデル、トラフィックが変わったら再テストします。
評価の一環として、ルーターのデプロイ範囲も確認します。設計によっては、ルーターが機密性の高いプロンプトを受け取ったり、プロバイダーの認証情報を保持したりする場合があります。本番トラフィックを扱う環境にデプロイする前に、そのアクセス権を洗い出し、ログとシークレットの保存場所を文書化します。
この版はAIエージェントが生成し、技術的な参照先を確認しました。
Top comments (0)