Rihpig

Posted on Jul 9 • Originally published at apidog.com

Grok 4.5 벤치마크: xAI 공개 자료 분석 및 읽는 법

xAI는 2026년 7월 8일 Grok 4.5를 네 가지 코딩 벤치마크와 한 가지 효율성 차트와 함께 출시했습니다. 이 글은 xAI가 공개한 수치, 각 수치의 출처, 해석 시 주의할 점, 그리고 리더보드를 기다리지 않고 직접 평가 하네스를 구성하는 방법을 정리합니다.

지금 Apidog 사용해 보기

한 문장으로 요약하면 다음과 같습니다. Grok 4.5는 강력한 2티어 코딩 모델처럼 벤치마크되며, Claude Opus 4.8과는 결과가 엇갈리고 최상위 모델에는 뒤처집니다. 다만 가장 눈에 띄는 지표는 정확도 자체보다 출력 토큰 효율성입니다.

xAI가 발표한 모든 수치

xAI 발표에 포함된 네 가지 코딩 차트는 다음과 같습니다.

DeepSWE 1.0, pass@1

모델	점수
클로드 페이블 5, 최대	66.1%
GPT 5.5, xhigh	64.31%
Grok 4.5	62.0%
클로드 오푸스 4.8, 최대	55.75%
클로드 오푸스 4.7, 최대	40.12%

DeepSWE 1.1

모델	점수
클로드 페이블 5, 최대	70%
GPT 5.5, xhigh	67%
클로드 오푸스 4.8, 최대	59%
Grok 4.5	53%
GLM 5.2	44%

Terminal Bench 2.1

모델	점수
클로드 페이블 5, 최대	84.3%
GPT 5.5, xhigh	83.4%
Grok 4.5	83.3%
클로드 오푸스 4.8, 최대	78.9%
클로드 오푸스 4.7, 최대	78.9%

SWE Bench Pro, 해결률

모델	점수
클로드 페이블 5, 최대	80.4%
클로드 오푸스 4.8, 최대	69.2%
Grok 4.5	64.7%
클로드 오푸스 4.7, 최대	64.3%
GLM 5.2	62.1%
GPT 5.5, xhigh	58.6%

효율성 차트에서는 SWE Bench Pro 작업당 평균 출력 토큰이 Grok 4.5는 15,954개, Opus 4.8, 최대는 67,020개로 표시되었습니다. 약 4.2배 차이입니다.

이 수치들의 출처

xAI 차트의 각주는 중요합니다.

DeepSWE 1.0은 “Datacurve가 생성하고 AA가 각 모델 제공업체의 하네스를 사용하여 실행”했습니다.
DeepSWE 1.1은 “Datacurve가 실행한 mini-swe-agent 하네스”를 사용했습니다.
“경쟁사 수치는 해당 개발자의 공개된 시스템 카드 또는 벤치마크 리더보드에서 가져왔습니다.”

즉, 이 결과는 단일 독립 평가라기보다 여러 출처를 합친 모자이크에 가깝습니다.

일부 수치는 제3자 평가 업체에서 나왔습니다.
일부 수치는 경쟁사의 시스템 카드나 공개 리더보드에서 가져왔습니다.
최종 표는 xAI가 제품 출시 맥락에서 취합했습니다.

이는 순수한 자체 보고보다 투명하지만, 완전히 독립적인 비교는 아닙니다. 하네스, 스캐폴딩, effort 설정, 샘플링 방식이 다르면 에이전트 점수는 몇 포인트씩 달라질 수 있습니다. 현재까지는 이 모자이크 외부에서 Grok 4.5 수치를 별도로 발표한 주요 독립 평가가 없습니다.

동일한 차트를 읽는 세 가지 방법

1. Opus 4.8과는 접전입니다

xAI가 공개한 네 개 벤치마크에서 Grok 4.5와 Claude Opus 4.8의 결과는 2승 2패입니다.

Grok 4.5 우세
- DeepSWE 1.0: +6.25
- Terminal Bench 2.1: +4.4
Opus 4.8 우세
- DeepSWE 1.1: +6
- SWE Bench Pro: +4.5

따라서 “오푸스급”이라는 주장은 공개된 데이터와 충돌하지 않습니다. 다만 “명확한 우위”라고 말하기는 어렵습니다.

패턴도 중요합니다.

Grok 4.5는 터미널 지향 평가와 상대적으로 오래된 평가에서 강합니다.
Opus 4.8은 더 새롭고 복잡한 레포 수준 평가에서 강합니다.

가격까지 포함한 전체 비교는 Grok 4.5 vs Claude Opus 4.8에서 확인할 수 있습니다.

2. 최상위 모델과는 아직 격차가 있습니다

xAI 자체 페이지에서도 Claude Fable 5, 최대는 네 개 차트 모두에서 1위입니다. GPT 5.5, xhigh도 네 개 중 세 개에서 Grok 4.5보다 높습니다.

흥미로운 점은 xAI가 이 모델들을 차트에서 제외하지 않았다는 것입니다. 메시지는 “최고 성능”보다는 “가격 대비 성능”에 가깝습니다.

Fable 5 수치의 의미는 페이블 5 벤치마크 분석에서 따로 다루고 있습니다.

3. 이전 세대 대비 업그레이드는 있지만, 해석은 신중해야 합니다

이 차트에서 Opus 4.7에서 Opus 4.8로의 상승폭은 대부분의 세대 간 차이보다 큽니다. 반면 Grok 4.5가 훨씬 저렴한 GLM 5.2보다 앞서는 폭은 공유 벤치마크 기준 9~11포인트입니다.

비용 대비 성능을 보는 팀이라면 단순 순위보다 다음을 함께 봐야 합니다.

해결률 차이
출력 토큰 수
지연 시간
재시도율
실패했을 때의 디버깅 비용
실제 코드베이스에서의 패치 품질

xAI가 강조하는 지표: 출력 토큰 효율성

효율성 차트는 이번 출시의 핵심 메시지입니다.

SWE Bench Pro 기준:

Grok 4.5: 작업당 평균 출력 토큰 15,954개
Opus 4.8, 최대: 작업당 평균 출력 토큰 67,020개

이는 Grok 4.5가 Opus 4.8 대비 1/4 미만의 출력량으로 유사한 작업을 수행했다는 의미입니다. xAI는 Grok 4.5가 초당 80토큰으로 제공된다고도 표시했습니다.

이 지표는 실제 운영에서 중요합니다.

출력 토큰은 비용에 직접 반영됩니다.
출력 토큰은 응답 시간에도 영향을 줍니다.
에이전트 루프에서는 단계마다 토큰 사용량이 누적됩니다.
CI/CD, 자동 코드 리뷰, 대량 이슈 triage에서는 작은 차이가 전체 비용으로 커집니다.

SWE Bench Pro에서 Opus 4.8보다 4.5포인트 낮더라도, 출력 토큰을 4.2배 적게 쓰는 모델은 대규모 파이프라인에서 합리적인 선택지가 될 수 있습니다. 이 트레이드오프는 가격 분석에서 더 정량적으로 다룹니다. 정가 기준으로는 해결된 작업당 출력 비용이 약 0.10달러 대 1.68달러로 계산됩니다.

다만 두 가지는 주의해야 합니다.

첫째, 이 효율성 수치도 공급업체가 공개한 단일 벤치마크 기반입니다.

둘째, 긴 출력이 항상 낭비는 아닙니다. Opus의 긴 출력은 확장된 추론 과정일 수 있으며, 이것이 일부 평가에서 더 높은 점수를 얻는 이유일 수 있습니다. 효율성과 깊이는 실제로 상충할 수 있습니다.

아직 누락된 정보

지금 바로 결론을 내리기 어려운 이유는 다음과 같습니다.

독립적인 제3자 평가가 없습니다. 7월 9일 기준 Artificial Analysis Intelligence Index 항목, LMArena 배치, 커뮤니티 SWE-Bench 복제 결과가 없습니다.
코딩 벤치마크만 공개되었습니다. xAI는 “지식 작업”에도 모델을 마케팅하지만, 일반 추론, 수학, 과학, 안전 벤치마크는 발표하지 않았습니다.
Grok 자체의 effort 모드가 명확하지 않습니다. 경쟁 모델은 최대, xhigh처럼 표시되어 있지만, Grok 4.5 점수가 기본 구성인지 최대 구성인지는 명시되지 않았습니다.
출시 초기 모델입니다. 출시 후 첫 달에는 회귀, 서비스 불안정, 조용한 동작 변경이 흔합니다.

공개 벤치마크보다 중요한 것: 내 워크로드 벤치마크

공개 벤치마크는 평균적인 성향을 보여줍니다. 하지만 실제 전환 결정에는 팀의 코드베이스와 작업 유형이 더 중요합니다.

가벼운 내부 평가를 만들려면 다음 순서로 진행하세요.

실제 백로그에서 10~20개의 작업을 고릅니다.
각 작업에 대해 입력 프롬프트, 관련 코드 컨텍스트, 기대 결과를 저장합니다.
후보 모델별로 동일한 요청 형식을 만듭니다.
각 모델의 출력 품질, 지연 시간, 토큰 사용량을 함께 기록합니다.
가능하면 모델 이름을 숨기고 블라인드 평가합니다.

Apidog에서는 후보 모델별 요청을 저장해 컬렉션으로 관리할 수 있습니다. xAI와 Anthropic 모두 OpenAI 호환 인터페이스를 제공하므로, 하네스를 여러 코드베이스로 나누기보다 model 값만 바꾸는 방식으로 구성할 수 있습니다.

예시는 다음과 같습니다.

curl "$API_BASE/v1/chat/completions" \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "'"$MODEL"'",
    "messages": [
      {
        "role": "system",
        "content": "You are a senior software engineer. Return a minimal patch and a short explanation."
      },
      {
        "role": "user",
        "content": "Fix the failing test described below. Include only the patch and rationale.\n\n<task>\n...your real backlog item...\n</task>"
      }
    ]
  }'

응답에서 최소한 다음 필드를 기록하세요.

{
  "model": "grok-4.5",
  "latency_ms": 12345,
  "usage": {
    "prompt_tokens": 12000,
    "completion_tokens": 3000,
    "total_tokens": 15000
  },
  "accepted": true,
  "notes": "Patch passed tests after one manual edit"
}

간단한 CSV로 시작해도 충분합니다.

task_id,model,accepted,latency_ms,prompt_tokens,completion_tokens,total_tokens,reviewer_score
api-001,grok-4.5,true,12345,12000,3000,15000,4
api-001,current-model,true,18500,11800,9000,20800,4

이 방식으로 보면 xAI의 효율성 주장이 내 환경에서도 재현되는지 확인할 수 있습니다. Grok 4.5의 출력이 실제 프롬프트에서 눈에 띄게 짧지 않다면, 헤드라인 비용 절감 효과는 그대로 적용되지 않을 수 있습니다.

Apidog를 무료로 다운로드하면 이런 평가 컬렉션을 빠르게 구성할 수 있습니다. xAI 측 설정은 Grok 4.5 API 가이드를 참고하세요.

실무 적용 체크리스트

Grok 4.5 도입을 검토한다면 다음 기준으로 테스트하세요.

[ ] 실제 코드베이스 작업 10~20개를 준비했는가?
[ ] 기존 모델과 Grok 4.5에 동일한 프롬프트를 보냈는가?
[ ] usage의 출력 토큰을 기록했는가?
[ ] 지연 시간을 함께 기록했는가?
[ ] 결과를 블라인드로 평가했는가?
[ ] 테스트 통과 여부와 수동 수정 횟수를 기록했는가?
[ ] 실패 케이스를 별도로 분류했는가?
[ ] 비용 계산을 “요청당”이 아니라 “해결된 작업당”으로 했는가?

모델 교체 여부는 단순 벤치마크 순위가 아니라 다음 식으로 판단하는 편이 더 안전합니다.

실제 가치 = 해결률 × 검토 통과율 × 평균 수정 비용 절감 - 토큰 비용 - 지연 시간 비용

자주 묻는 질문

xAI는 Grok 4.5에 대해 어떤 벤치마크를 발표했나요?

네 가지 코딩 평가를 발표했습니다.

DeepSWE 1.0
DeepSWE 1.1
Terminal Bench 2.1
SWE Bench Pro

또한 Opus 4.8과의 출력 토큰 효율성 비교를 공개했습니다. 코딩 외 벤치마크는 발표하지 않았습니다.

독립적인 Grok 4.5 벤치마크가 있나요?

아직 없습니다. 공개된 수치는 Datacurve가 실행한 평가와 다른 공급업체의 시스템 카드 또는 리더보드에서 가져온 수치를 혼합한 것입니다. 독립 지수는 보통 주요 출시 후 몇 주 안에 추가됩니다.

Grok 4.5가 Claude Opus 4.8을 능가하나요?

공개된 네 가지 벤치마크 중 두 가지에서는 Grok 4.5가 앞섰고, 두 가지에서는 Opus 4.8이 앞섰습니다. Grok 4.5는 더 낮은 출력 토큰 사용량을 강점으로 내세우고, Opus 4.8은 더 어려운 레포 수준 평가에서 강했습니다. 자세한 내용은 전체 비교를 참고하세요.

Grok 4.5가 현재 가장 강력한 코딩 모델인가요?

아닙니다. xAI 자체 차트에서도 Claude Fable 5, 최대가 모든 공개 벤치마크에서 선두입니다. Grok 4.5의 포지션은 최고 성능보다는 비용 대비 성능에 가깝습니다.

DEV Community