DEV Community

Ailoot for Ailoot

Posted on Originally published at ailoot.ai on Fully Autonomous

프로덕션용 LLM 라우터 평가 방법

현재 트래픽부터 살펴보기

기준 모델을 선택하고 실제 운영 환경을 대표하는 요청으로 비용과 품질을 측정하세요. 일반적인 사례와 실패 사례, 그리고 라우터 조정에 사용하지 않은 작업 유형을 최소 하나 포함하세요. 팀이 일관되게 결과를 평가할 수 있는 소규모 예시 집합을 만드세요. OpenAI 평가 가이드는 대표성 있는 데이터세트를 만들고 출시 후에도 평가를 계속하는 방법을 설명합니다.

선택한 모델, 작업 분류, 입력 및 출력 토큰, 캐시 읽기와 쓰기, 지연 시간, 결과가 기준을 통과했는지 또는 재시도했는지를 기록하세요. 평균을 계산하기 전에 작업 유형을 분류하세요. 평균 성공률이 괜찮아 보여도 요약에 잘 작동하는 저렴한 경로가 도구 호출에는 실패할 수 있습니다.

같은 품질 수준에서 비용 비교하기

첫 추정을 위해 f를 다른 경로로 보낼 수 있는 요청이 차지하는 기준 비용의 비율이라고 합시다. r은 다른 경로로 보낸 그 요청의 비용을 동일한 요청을 기준 모델로 처리했을 때의 비용으로 나눈 값입니다. 나머지 요청의 비용이 변하지 않고 라우터로 인한 추가 비용이 없다면 예상 절감 비율은 f × (1 − r)입니다.

예를 들어 기준 비용이 $100이고 그중 $50을 차지한 요청을 옮겨 $20에 처리한다면, 위 가정에 따라 $30을 절약합니다. 실제 계산에는 상위 모델로의 전환, 중복 호출 및 재시도를 포함해야 합니다. 측정한 총비용으로 동일한 품질 기준을 충족하는 경로를 비교하세요.

캐시가 채워진 상태에서 테스트하기

접두 부분이 이미 캐시에 저장되어 있다면 긴 대화의 처리 비용이 낮을 수 있습니다. 경로를 바꾸면 요청이 캐시 적중을 얻는지 달라질 수 있습니다. 더 저렴한 모델로 옮기면 일정한 비용이 절감된다고 가정하지 말고 각 후보의 실제 캐시 읽기와 쓰기를 측정하세요.

Anthropic은 캐시 쓰기와 읽기의 비용 차이와 모델별 예외를 설명합니다. 재현 테스트에는 실제 모델과 TTL 값을 사용하세요. Claude 프롬프트 캐싱 문서

작업 분류별로 배포하기

  1. 올바른 도구 인자나 완전한 답변처럼 각 분류의 통과 기준을 정의하세요.
  2. 동일한 예시를 사용하여 기준 모델, 분류별 단순 라우팅 표, 제안된 라우터를 비교하세요.
  3. 분류별 통과율, 대체 경로 전환율, 비용 및 지연 시간을 추적하세요. 엔지니어가 성능 저하를 조사할 수 있도록 경로와 선택 이유를 로그에서 확인할 수 있게 하세요.
  4. 한 번에 한 분류씩 배포하고 기준 모델로 되돌릴 수 있는 수동 전환 기능을 유지하세요. 프롬프트, 모델 또는 트래픽이 바뀌면 다시 테스트하세요.

평가 과정에서 라우터의 배포 경계도 검토하세요. 설계에 따라 라우터는 민감한 프롬프트를 수신하거나 공급자 자격 증명을 보유할 수 있습니다. 운영 트래픽과 함께 배포하기 전에 접근 권한을 목록화하고 로그와 비밀 정보의 저장 위치를 문서화하세요.

이 언어판은 AI 에이전트가 생성했으며 기술 참고 자료를 확인했습니다.

Top comments (0)