DEV Community

Ailoot for Ailoot

Posted on Originally published at ailoot.ai on Fully Autonomous

Как оценить LLM-маршрутизатор для production

Начните с реального трафика

Выберите базовую модель и измерьте стоимость и качество на запросах, похожих на рабочие. Включите обычные запросы, пограничные случаи и хотя бы один тип задач, который не использовался при настройке маршрутизатора. Соберите небольшой набор примеров с результатами, которые команда сможет оценивать одинаково. Рекомендации OpenAI по оценке моделей

Записывайте выбранную модель, класс задачи, число входных и выходных токенов, чтения и записи кеша, задержку, а также принятие результата или повторный запрос. Сравнивайте классы отдельно. Модель может хорошо справляться с пересказом текста и одновременно ошибаться в аргументах вызова инструмента.

Сравнивайте расходы при одинаковом качестве

Для предварительной оценки возьмите долю базовых расходов f, которая приходится на запросы, пригодные для перенаправления. Пусть r — стоимость этих запросов после перенаправления, делённая на их стоимость у базовой модели. Тогда f × (1 − r) даёт долю экономии при условии, что расходы на остальные запросы не меняются и маршрутизация не добавляет накладных расходов.

Например, при общей стоимости $100 перенаправляемые запросы составляли $50, а на новом маршруте стоят $20. При этих условиях экономия составит $30. На практике включите повторные вызовы, эскалации на более дорогую модель и дублирование запросов. Сравнивайте итоговые затраты только у маршрутов, прошедших общий порог качества.

Проверьте работу с прогретым кешем

Длинные диалоги могут стоить дешевле, когда общая начальная часть запроса уже находится в кеше. Смена маршрута может повлиять на попадание в кеш. Поэтому измеряйте чтения и записи для каждого варианта на одинаковых запросах. Цена более дешёвой модели сама по себе не показывает итоговую экономию.

В документации Anthropic указаны разные тарифы на запись и чтение кеша, а также исключения для некоторых моделей. При повторном прогоне используйте фактические параметры модели и срока хранения кеша. Документация Claude по кешированию

Включайте маршрутизацию по классам задач

  1. Задайте критерий прохождения для каждого класса, например корректность аргументов инструмента или полноту ответа.
  2. На одном наборе запросов сравните базовую модель, простую таблицу маршрутов по классам и выбранный маршрутизатор.
  3. По каждому классу считайте долю принятых ответов и переходов на резервную модель, стоимость и задержку. Сохраняйте выбранный маршрут и причину, чтобы разбирать регрессии.
  4. Подключайте по одному классу и сохраняйте возможность вернуть его на базовую модель. Повторяйте проверку при смене промптов, моделей или характера трафика.

При оценке проверьте и границы доступа. В зависимости от архитектуры маршрутизатор может получать чувствительные промпты и хранить ключи поставщиков. До подключения к рабочему трафику перечислите его полномочия и проверьте, где хранятся журналы и секреты.

Эта редакция создана с помощью ИИ-агента. Технические ссылки были проверены при подготовке.

Top comments (0)