클로드 하이쿠 5.5 벤치마크

Claude Haiku 5.5는 OSWorld 2.1에서 72.4%, GDPval-AA v2.1에서 1620점, FrontierCode 1.1에서 46.4%, Terminal-Bench 4.0에서 39.2%를 기록했습니다. Haiku 4.5는 이 중 세 항목에서 각각 15.7%, 735점, 0.0%를 기록했습니다. 모든 수치는 최대 노력(max) 기준이며, 기본값인 medium 노력에서는 GDPval-AA 점수가 1277점으로 낮아집니다. 2026년 10월 8일 기준, 독립 연구소가 발표한 Haiku 5.5 결과는 없습니다.

지금 Apidog 사용해 보기

이 글에서는 Haiku 5.5 벤치마크, 실행 주체, 노력 수준별 성능·비용 차이, 그리고 Apidog에서 실제 트래픽으로 모델을 평가하는 방법을 정리합니다. 모델 사양과 가격은 Claude Haiku 5.5란 무엇인가에서 확인할 수 있습니다.

출시 벤치마크

모든 Haiku 5.5 결과는 적응적 사고(adaptive thinking)와 최대 노력(max)을 사용합니다. 일반적으로 5회 시험 평균이며, Terminal-Bench는 작업당 10회 시험 평균입니다. n/r은 결과가 공개되지 않았음을 뜻합니다.

벤치마크	Haiku 5.5	Haiku 4.5	GPT-6 Luna	Sonnet 5.5
GDPval-AA v2.1 (엘로)	1620	735	1437	1840
AA-Briefcase v1.1 (엘로)	1578	614	1336	1824
OSWorld 2.1, 오프라인 하위 집합	72.4%	15.7%	48.9%	83.9%
인류의 마지막 시험, 도구 없음	45.9%	10.2%	n/r	56.9%
인류의 마지막 시험, 도구 사용	57.4%	18.7%	n/r	64.5%
Terminal-Bench 4.0	39.2%	0.0%	16.4%	70.6%
FrontierCode 1.1 (메인)	46.4%	n/r	42.4%	52.1% (xhigh)
차트 제작, 도구 없음	46.4%	6.4%	29.1%	61.6%

벤치마크 실행 주체와 조건

대부분의 테스트는 Anthropic이 실행했습니다. 벤더 간 비교는 동일한 벤치마크 이름을 사용하더라도 하네스, 평가 설정, 노력 수준이 항상 같지는 않습니다.

벤치마크	실행 주체	조건
GDPval-AA v2.1, AA-Briefcase v1.1	Artificial Analysis, 독립 실행	GDPval-AA: 220개 작업, 44개 직업, DeepSeek V4.1 Flash(max)의 엘로 점수 1600에 고정. Briefcase: 수주간 프로젝트
FrontierCode 1.1	Cognition	Claude Code는 Claude, Codex는 GPT 사용. 메인 세트는 150개 작업 중 가장 어려운 100개
차트 제작	Anthropic, Surge AI 벤치마크 사용	Gemini 3.5 Flash 평가자, Surge AI의 Luna 점수 사용
Terminal-Bench 4.0	Anthropic	Claude Code --bare, 66개 작업, 작업당 10회 시험, 안전장치 활성화
OSWorld 2.1	Anthropic	108개 중 82개 작업, 1080p, 최대 500단계
인류의 마지막 시험	Anthropic	작업당 98만 토큰 예산, Opus 4.6 평가자

GPT-6 Luna 수치도 조건을 분리해 해석해야 합니다.

• OSWorld 48.9%는 Anthropic이 동일한 82개 작업에서 OpenAI API로 실행한 결과입니다.
• Terminal-Bench 16.4%는 공개 리더보드의 Codex CLI 최대 노력 결과입니다.
• Terminal-Bench에서 안전장치는 Haiku 5.5 시험 660회 중 12회(1.8%)를 중단시켰고, 중단된 시도는 실패로 처리되었습니다.

FrontierCode 비교 시 주의할 점

출시 표는 Haiku 5.5의 최대 노력 점수(46.4%)와 Sonnet 5.5의 xhigh 점수(52.1%)를 함께 보여 줍니다. 그러나 시스템 카드에는 동일 조건 비교 수치도 있습니다.

FrontierCode 1.1	메인	확장
Haiku 5.5, 최대	46.4%	58.4%
Haiku 5.5, xhigh	45.8%	n/r
Sonnet 5.5, 최대	46.2%	59.1%
Sonnet 5.5, xhigh	52.1%	64.4%

최대 노력에서 Haiku 5.5는 메인 세트 기준 Sonnet 5.5를 46.4% 대 46.2%로 근소하게 앞섭니다. 하지만 각 모델의 최고 설정을 비교하면 Sonnet 5.5가 5.7포인트 앞섭니다.

벤치마크 수치를 문서나 보고서에 인용할 때는 반드시 노력 수준을 함께 기록하세요.

예: FrontierCode 1.1 메인에서 Haiku 5.5는 max effort 기준 46.4%

시스템 카드에 추가된 결과

시스템 카드는 출시 게시물에 없던 결과도 제공합니다. 별도 표기가 없다면 최대 노력 기준입니다.

벤치마크	Haiku 5.5	Haiku 4.5	Sonnet 5.5
SWE-Bench Pro	64.8	n/r	81.3
SWE-벤치 다국어	83.7	67.4	90.3
SWE-벤치 멀티모달	30.7	19.8	54.3
OSWorld 2.1, 엄격한 통과율	37.1%	n/r	48.8%
차트 제작, 도구 사용	86.2%	8.8%	90.2%
OfficeQA / OfficeQA Pro	73.5% / 60.3%	63.0% / 47.1%	76.9% / 65.6%
HealthBench 전문가, 길이 조정	64.8%	32.2%	69.2%

OSWorld의 72.4%는 부분 점수입니다. 완전히 통과한 작업의 비율은 37.1%입니다.

차트 제작(Chartography)은 도구 사용 시 46.4%에서 86.2%로 크게 상승합니다. 차트 생성·수정 작업을 평가할 때는 도구 사용 설정을 포함해야 합니다.

기본 노력 수준에서는 점수가 낮다

Claude API와 Claude Code에서 Haiku 5.5의 기본 노력 수준은 medium입니다.

벤치마크	중간(medium, 기본)	최대(max)	참고
GDPval-AA v2.1	1277	1620	medium은 max 출력 토큰의 약 10분의 1 사용
AA-Briefcase v1.1	1372	1578	medium은 max 출력 토큰의 4분의 1 미만 사용
HealthBench 전문가	59.9%	64.8%	low 57.9%, high 61.3%

output_config.effort를 지정하지 않으면 이 표의 medium 성능을 기준으로 예상해야 합니다. 모든 다섯 단계는 effort 문서에서 확인할 수 있습니다.

노력 수준별 성능과 비용

아래 비용은 출시 차트 기준입니다. OSWorld와 Terminal-Bench는 시도당 비용이고, GDPval-AA는 작업당 비용입니다.

모델	낮음	중간	높음	xhigh	최대
OSWorld 2.1
Haiku 5.5	42.0% ($0.07)	53.3% ($0.13)	61.3% ($0.18)	67.6% ($0.28)	72.4% ($0.61)
Sonnet 5.5	57.9% ($0.68)	66.0% ($0.93)	73.2% ($1.38)	81.1% ($2.22)	83.9% ($5.73)
GPT-6 Luna	19.2% ($0.04)	37.5% ($0.13)	42.3% ($0.14)	44.8% ($0.17)	48.9% ($0.21)
GDPval-AA v2.1
Haiku 5.5	1125 ($0.012)	1277 ($0.030)	1420 ($0.089)	1513 ($0.27)	1620 ($0.87)
Sonnet 5.5	1179 ($0.22)	1324 ($0.27)	1551 ($0.62)	1731 ($1.88)	1840 ($6.78)
GPT-6 Luna	1036 ($0.004)	1262 ($0.02)	1344 ($0.03)	1364 ($0.05)	1437 ($0.09)
Terminal-Bench 4.0
Haiku 5.5	12.7% ($0.42)	20.3% ($0.68)	24.8% ($1.04)	31.5% ($1.75)	39.2% ($2.64)
Sonnet 5.5	20.0% ($0.62)	28.8% ($0.68)	43.0% ($1.46)	61.5% ($4.34)	70.6% ($10.44)

실무적으로는 다음 패턴을 확인할 수 있습니다.

• max는 마지막 성능 향상 구간에서 비싸집니다. GDPval-AA에서 Haiku 5.5 max는 medium보다 약 28배 비싸지만 엘로 점수는 343점 높습니다.
• OSWorld에서는 Haiku 5.5 medium이 Luna max보다 높은 점수입니다. Haiku 5.5는 $0.13에 53.3%, Luna는 $0.21에 48.9%입니다.
• Haiku 5.5 max는 OSWorld에서 Sonnet 5.5 medium을 앞섭니다. Haiku는 $0.61에 72.4%, Sonnet은 $0.93에 66.0%입니다.
• Terminal-Bench는 예외입니다. Sonnet 5.5 high는 43.0%, $1.46으로 Haiku 5.5 max의 39.2%, $2.64보다 성능과 비용 모두 유리합니다.

Haiku 5.5와 Luna의 비용·성능 비교는 Haiku 5.5 대 GPT-6 Luna에서 더 자세히 확인할 수 있습니다.

비용은 정가 기준입니다. 최대 10만 토큰 프롬프트는 백만 토큰당 $0.10/$0.50이며, 이를 초과하면 가격이 높아집니다. 자세한 내용은 가격 분석을 참고하세요.

Haiku 5.5가 뒤처지는 작업

Sonnet 5.5는 출시 표의 모든 항목에서 Haiku 5.5를 앞섭니다. Haiku 5.5의 유일한 일대일 우위는 두 모델을 모두 최대 노력으로 실행한 FrontierCode입니다.

성능 차이가 큰 영역은 다음과 같습니다.

• Terminal-Bench 4.0: 39.2% 대 70.6%
• SWE-Bench Pro: 64.8 대 81.3
• SWE-벤치 멀티모달: 30.7 대 54.3

Anthropic도 Sonnet 5.5와 Opus 5.5가 복잡한 에이전트 코딩 작업에 더 적합하다고 설명합니다. Haiku 5.5는 다음과 같은 좁고 반복적인 작업에 맞습니다.

• 압축
• 요약
• 분류
• 브라우저 사용
• 더 큰 모델이 조정하는 하위 에이전트

저비용 하위 에이전트 구성 방법은 Claude Code의 Haiku 5.5에서 확인할 수 있습니다.

독립 결과는 아직 없다

2026년 10월 8일 기준, 독립 연구소의 Haiku 5.5 벤치마크 발표는 없습니다.

• Artificial Analysis의 Haiku 5.5 페이지는 404를 반환합니다.
• Artificial Analysis 리더보드에는 Claude 4.5 Haiku만 표시됩니다.
• Vals, LMArena, SWE-bench, Aider도 Haiku 5.5 결과를 공개하지 않았습니다.
• 외부 속도 수치는 없으며, Anthropic은 Haiku 5.5를 표준 속도 기준 “현재까지 가장 빠른 모델”이라고 설명합니다. 단, Fast Mode의 Opus보다 느리다고 명시합니다.

가장 가까운 외부 수치는 Cursor에서 확인할 수 있습니다. Cursor 모델 문서에 따르면:

• CursorBench에서 최대 노력: 48.4%
• CursorBench에서 낮은 노력: 30.9%
• 사고 기능 비활성화: 22.1%~26.2%
• 사고 기능 활성화: 동일 노력 수준에서 30.9%~42.3%

고객 보고서

다음 내용은 Anthropic 출시 게시물의 고객 보고서이며, 독립적으로 검증된 결과는 아닙니다.

• HubSpot: 시뮬레이션된 CRM 포털 스위트에서 3회 평균 92.8%를 기록했습니다.
• AlphaSense: 400개 문서 내 질문(Ask in Document) 쿼리에서 Haiku 4.5의 0.76 대비 0.84를 기록했다고 밝혔습니다.
• Box: 초기 테스트에서 Haiku 4.5보다 약 절반의 지연 시간과 11포인트 높은 결과를 보고했습니다.
• Asana: 기존 모델 대비 작업 완료 지연 시간이 30% 이상 감소했다고 밝혔습니다.
• Cognition: Devin Fusion은 Haiku 5.5를 보조 모델, Opus 5.5를 주력 모델로 사용해 FrontierCode 66.2를 기록했습니다. Haiku 단독 결과는 아닙니다.

실제 트래픽으로 자체 평가하기

벤치마크 점수는 프로덕션 트래픽을 그대로 반영하지 않습니다. Anthropic의 Haiku 5.5 프롬프트 가이드는 자체 평가에서 이득이 확인될 때만 xhigh 또는 max를 사용하고, Sonnet 5.5도 같은 평가로 비교할 것을 권장합니다.

Apidog에서 다음 순서로 평가 컬렉션을 구성하세요.

1. ANTHROPIC_API_KEY를 환경 변수에 저장합니다.
2. 실제 사용자 입력 20~50개를 Messages API 요청으로 저장합니다.
3. 각 요청에 성공 조건을 추가합니다.
   • HTTP 상태 코드 200
   • stop_reason이 "max_tokens" 또는 "refusal"이 아님
   • 업무상 필요한 핵심 내용이 응답에 포함됨
4. low, medium, high 설정으로 각각 실행합니다.
5. 통과율과 usage 객체의 토큰 수를 기록합니다.
6. 컬렉션을 복제한 뒤 모델을 claude-sonnet-5-5로 바꾸고 동일 프로젝트에서 비교합니다.

노력 수준을 바꾸면 프롬프트 캐시가 무효화된다는 점을 고려하세요. 또한 새 토크나이저는 동일 텍스트에서 Haiku 4.5보다 약 30% 많은 토큰을 생성합니다.

요청 예시

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-haiku-5-5",
    "max_tokens": 8000,
    "thinking": {"type": "adaptive"},
    "output_config": {"effort": "medium"},
    "messages": [
      {
        "role": "user",
        "content": "Classify this support ticket as billing, bug or feature request: ..."
      }
    ]
  }'

Haiku 5.5 요청에서는 다음 값을 보내지 마세요. 보내면 각 요청이 400 오류를 반환합니다.

• temperature
• top_p
• top_k
• 어시스턴트 사전 채우기

응답에서 thinking 블록이 먼저 올 수 있으므로, 응답 텍스트를 읽을 때 배열 인덱스가 아니라 블록의 type으로 선택해야 합니다.

구체적인 API 사용 방법은 API 가이드와 LLM 애플리케이션 테스트를 참고하세요.

자주 묻는 질문

Claude Haiku 5.5가 Sonnet 5.5보다 낫습니까?

Anthropic의 수치만 보면 아닙니다. Sonnet 5.5는 출시 표의 모든 행에서 앞섭니다. Haiku 5.5는 두 모델이 모두 최대 노력일 때 FrontierCode에서만 46.4% 대 46.2%로 근소하게 앞섭니다.

Haiku 4.5에서 업그레이드할지 판단하려면 Haiku 5.5 대 Haiku 4.5를 참고하세요.

Haiku 5.5의 SWE-벤치 점수는 얼마입니까?

최대 노력 기준으로 다음과 같습니다.

• SWE-Bench Pro: 64.8
• SWE-벤치 다국어: 83.7
• SWE-벤치 멀티모달: 30.7

벤치마크는 어떤 노력 수준에서 실행되었습니까?

대부분 최대 노력(max)이며, 일반적으로 5회 시험 평균입니다. API 기본값은 medium이고, GDPval-AA 점수는 max의 1620이 아니라 1277입니다.

독립적인 Haiku 5.5 벤치마크가 있습니까?

아직 없습니다. Artificial Analysis는 GDPval-AA와 AA-Briefcase를 독립적으로 실행했지만, 해당 점수는 Anthropic이 발표했습니다. Artificial Analysis에는 Haiku 5.5 모델 페이지도 없습니다.

GPT-6 Luna가 더 저렴합니까?

일반적으로 그렇습니다. Luna는 모든 GDPval-AA 노력 수준과 medium을 제외한 모든 OSWorld 수준에서 비용이 낮습니다. 단, Haiku 5.5는 두 벤치마크 모두에서 더 높은 점수를 기록했습니다.

다음 단계

처음에는 medium으로 시작하세요. 실제 작업에서 통과율 증가가 확인될 때만 high, xhigh, max로 올리는 방식이 적합합니다.

Apidog를 다운로드해 실제 프롬프트 평가 컬렉션을 만들고, 프로덕션 트래픽을 전환하기 전에 Apidog에 Sonnet 5.5 기준선과 함께 결과를 보관하세요.