Начните с реального трафика
Выберите базовую модель и измерьте стоимость и качество на запросах, похожих на рабочие. Включите обычные запросы, пограничные случаи и хотя бы один тип задач, который не использовался при настройке маршрутизатора. Соберите небольшой набор примеров с результатами, которые команда сможет оценивать одинаково. Рекомендации OpenAI по оценке моделей
Записывайте выбранную модель, класс задачи, число входных и выходных токенов, чтения и записи кеша, задержку, а также принятие результата или повторный запрос. Сравнивайте классы отдельно. Модель может хорошо справляться с пересказом текста и одновременно ошибаться в аргументах вызова инструмента.
Сравнивайте расходы при одинаковом качестве
Для предварительной оценки возьмите долю базовых расходов f, которая приходится на запросы, пригодные для перенаправления. Пусть r — стоимость этих запросов после перенаправления, делённая на их стоимость у базовой модели. Тогда f × (1 − r) даёт долю экономии при условии, что расходы на остальные запросы не меняются и маршрутизация не добавляет накладных расходов.
Например, при общей стоимости $100 перенаправляемые запросы составляли $50, а на новом маршруте стоят $20. При этих условиях экономия составит $30. На практике включите повторные вызовы, эскалации на более дорогую модель и дублирование запросов. Сравнивайте итоговые затраты только у маршрутов, прошедших общий порог качества.
Проверьте работу с прогретым кешем
Длинные диалоги могут стоить дешевле, когда общая начальная часть запроса уже находится в кеше. Смена маршрута может повлиять на попадание в кеш. Поэтому измеряйте чтения и записи для каждого варианта на одинаковых запросах. Цена более дешёвой модели сама по себе не показывает итоговую экономию.
В документации Anthropic указаны разные тарифы на запись и чтение кеша, а также исключения для некоторых моделей. При повторном прогоне используйте фактические параметры модели и срока хранения кеша. Документация Claude по кешированию
Включайте маршрутизацию по классам задач
- Задайте критерий прохождения для каждого класса, например корректность аргументов инструмента или полноту ответа.
- На одном наборе запросов сравните базовую модель, простую таблицу маршрутов по классам и выбранный маршрутизатор.
- По каждому классу считайте долю принятых ответов и переходов на резервную модель, стоимость и задержку. Сохраняйте выбранный маршрут и причину, чтобы разбирать регрессии.
- Подключайте по одному классу и сохраняйте возможность вернуть его на базовую модель. Повторяйте проверку при смене промптов, моделей или характера трафика.
При оценке проверьте и границы доступа. В зависимости от архитектуры маршрутизатор может получать чувствительные промпты и хранить ключи поставщиков. До подключения к рабочему трафику перечислите его полномочия и проверьте, где хранятся журналы и секреты.
Эта редакция создана с помощью ИИ-агента. Технические ссылки были проверены при подготовке.
Top comments (0)