Muse Wonder 벤치마크 총정리
Muse Wonder Full은 Artificial Analysis Intelligence Index에서 56점, Muse Wonder는 52점을 기록했습니다. 반면 Claude Opus 5.5는 58점, Claude Sonnet 5.5는 56점, GPT-6 Astra·Gemini 4 Argon·Claude Fable 5.1은 각각 53점입니다. Meta의 모델 카드는 장기 코드 작업, 법률 업무, 비즈니스 자동화, 메모리에서 앞선다는 더 강한 그림을 보여줍니다. 두 이야기 모두 사실이지만 측정 대상이 다릅니다. 그 차이를 이해하는 것이 이 글의 핵심입니다.
아래에서는 Meta와 독립 기관이 공개한 주요 수치를 정리하고, 각 테스트가 무엇을 측정하는지, Wonder가 어디서 앞서고 어디서 뒤처지는지, 그리고 Meta 외부에서 재현할 수 없는 수치가 무엇인지 설명합니다. 모델 자체에 대한 배경은 Muse Wonder 설명 글을 참고하세요.
Meta의 모델 카드 표
Meta는 Muse Wonder Full, Muse Wonder, GPT-6 Astra, Claude Opus 5.5를 최대 추론 노력으로 비교했습니다. 모델 카드를 보도한 VentureBeat 기사에 나온 행은 다음과 같습니다.
| 벤치마크 | 측정 항목 | Wonder Full | Wonder | GPT-6 Astra | Claude Opus 5.5 |
|---|---|---|---|---|---|
| Artificial Analysis Intelligence Index | 10개 평가 통합 | 56 | 52 | 53 | 58 |
| Harvey LAB-AA | 법률 에이전트 과제 | 13.1 | 10.0 | 8.6 | 4.2 |
| AutomationBench-AA | 비즈니스 프로세스 자동화 | 45.4 | 39.1 | 41.6 | 41.2 |
| JobBench | 전문 업무 | 75.3 | 70.5 | 66.1 | 75.4 |
| DeepSWE 1.1 | 소프트웨어 엔지니어링 | 79.0 | 78.8 | 74.1 | 74.2 |
| SWE-Marathon | 장기 코드 실행 | 57.5 | 53.1 | 42.5 | 46.3 |
| Terminal-Bench 4.0-AA | 터미널 에이전트 과제 | 57.1 | 52.0 | 59.1 | 59.6 |
| HealthBench Pro | 건강 질문 | 62.3 | 60.5 | 65.3 | 65.6 |
행을 가로로 읽으면 형세가 명확해집니다. Wonder Full은 과제가 길고 에이전트적일 때 강합니다. SWE-Marathon에서는 Opus 5.5보다 11점, DeepSWE에서는 5점, 법률 과제에서는 약 3배 앞섭니다. 반면 터미널 작업, 건강 질문, 통합 인덱스에서는 Opus 5.5가 이깁니다. Meta 자체 표에서도 종합 지능은 Opus 5.5가 higher, 장기 지속성은 Wonder Full이 강하다는 해석이 더 정확합니다.
여기에는 Meta 스스로 밝힌 두 가지 유의점이 있습니다. 경쟁 모델 실행은 최선 노력 방식이었으며, 각 모델에 최적화되지 않았을 수 있는 설정이 사용됐습니다. 또한 일부 코드 비교는 서로 다른 도구를 사용해 나머지 항목보다 통제 수준이 낮습니다.
Meta 내부 벤치마크: 메모리와 집중
Meta 출시 자료의 다음 수치는 Meta만 실행할 수 있는 테스트에서 나옵니다.
| 벤치마크 | Wonder Full | Wonder | GPT-6 Astra | Claude Opus 5.5 | Claude Fable 5.1 |
|---|---|---|---|---|---|
| MemoryBench | 85.5 | 85.6 | 81.4 | 81.5 | 79.0 |
| FocusBench | 54.2 | 44.9 | 47.7 | 45.8 | 36.6 |
MemoryBench는 64K~100K 토큰 대화에 사실을 숨기고 방해 요소를 추가한 뒤, 중간에 일부 사실을 변경합니다. 모델은 변경된 현재 상태를 기억해야 합니다. 이 결과가 Active Memory 기능의 근거입니다.
FocusBench는 장애가 발생해도 목표를 계속 추구하는 능력을 측정하며, Active Focus 기능에 해당합니다. 더 작은 Wonder는 FocusBench에서 Astra와 Opus보다 낮다는 점에 유의해야 합니다. 앞서는 것은 Full뿐입니다. 세 번째 내부 수치인 Personal Superintelligence Index에는 공개된 경쟁 비교가 없습니다.
이 테스트들은 실제 행동을 측정하는 그럴듯한 시험이지만, 동시에 Meta가 훈련하려고 만든 바로 그 행동이기도 합니다. Meta 외부에서 누군가 재현하기 전까지는 훈련 목표에 대한 설명으로 보는 것이 안전합니다.
독립 기관 점수: Artificial Analysis
Artificial Analysis는 두 모델을 최대 노력으로 Intelligence Index v4.3에 통과시켰습니다. 통합 점수와 세부 결과는 다음과 같습니다.
| 평가 | Wonder Full | Wonder | Muse Spark 1.3 | 주요 비교 |
|---|---|---|---|---|
| Intelligence Index | 56 | 52 | 48 | Opus 5.5 58, Sonnet 5.5 56, Astra / Argon / Fable 5.1 53, Grok 4.6 44 |
| Terminal-Bench 4.0 | 57% | 52% | 33% | Gemini 4 Argon 57% |
| GDPval-AA (Elo) | 1857, #2 | 해당 없음 | 1681 | Opus 5.5 1866, Sonnet 5.5 1838 |
| AA-Briefcase (Elo) | 1729, #3 | 해당 없음 | 1581 | |
| CritPt | 33%, #1 | 해당 없음 | 해당 없음 | 가장 가까운 경쟁 모델은 31~32% |
| GDP.pdf | 33%, #1 | 해당 없음 | 해당 없음 | 가장 가까운 경쟁 모델은 31~32% |
| SciCode | 63%, #3 | 해당 없음 | 해당 없음 | |
| AA-Omniscience (지식) | 30 | 25 | 25 | Opus 5.5 46, Astra 43, Argon 42, Sonnet 5.5 32 |
| 환각률 | 23% | 27% | 33% | Gemini 4 Argon 15% |
| Coding Agents Index | 68 | 63 | 54 | Sonnet 5.5 기반 Claude Code 68, Opus 5.5 66 |
여기서 주목할 점은 세 가지입니다.
Spark에서의 도약은 실재합니다. 6주 만에 통합 점수가 8점 올랐고 Terminal-Bench는 거의 두 배가 됐습니다. Artificial Analysis는 이전 Meta 모델보다 지능이 크게 향상됐다고 평가했습니다.
지식은 명확한 약점입니다. Omniscience 점수는 30이고 Opus 5.5는 46입니다. Wonder가 아는 사실 자체는 적다는 뜻입니다. 다만 환각률이 낮아 사실을 지어낼 가능성은 상대적으로 낮습니다. 검색 의존도가 높은 제품이라면 모델 회상에 의존하지 말고 검색 결과나 자체 문서로 그라운딩하세요.
일부 리드는 매우 작습니다. CritPt와 GDP.pdf는 경쟁 모델보다 1~2%p 앞선 데 불과하고, Sonnet 5.5에 대한 GDPval 리드는 신뢰구간 안에 있습니다. 에이전트 런타임 선택에서는 Sonnet 5.5 기반 Claude Code와 Coding Agents Index가 68로 동점이라는 점이 더 중요합니다. 그리고 그 결과는 Wonder Full의 것이지 API로 제공되는 Wonder의 결과가 아닙니다.
Meta와 Artificial Analysis가 다르게 보고하는 행
Meta의 모델 카드는 Artificial Analysis Intelligence Index에서 Wonder Full을 59.0으로 표기합니다. Artificial Analysis가 공개한 값은 56입니다. 이 차이는 인덱스 버전, 실행 날짜, Meta 자체 평가 하네스 때문일 가능성이 있지만, 어느 쪽도 공개적으로 원인을 설명하지 않았습니다. 59가 인용되면 Meta 수치, 56이면 독립 수치입니다.
AutomationBench에서도 같은 간극이 나타납니다. Meta 표는 45.4와 39.1을 제시하고, Artificial Analysis는 다른 버전으로 보이는 테스트에서 71%와 68%를 보고합니다. 벤치마크 숫자를 인용할 때는 반드시 출처를 함께 표기하세요.
점수 뒤의 토큰과 비용
최대 노력 점수에는 토큰 비용이 따릅니다. Artificial Analysis 측정에서 두 Wonder 모델은 과제당 약 54,000개 출력 토큰을 사용했습니다. Argon은 62,000개, Fable 5.1은 78,000개, GPT-6 Astra는 27,000개였습니다.
입력 측면에서는 Wonder가 인덱스 전체에서 769만 토큰, Full은 644만 토큰을 사용해 OpenAI와 Google 모델의 2~7배 수준이었습니다. 그 결과 Wonder의 과제당 비용은 4.52달러였습니다. Opus 5.5의 5.98달러보다는 낮지만, Astra의 정가가 2.5배 높음에도 Astra 비용은 3.26달러로 더 낮습니다. 실제 워크로드 관점은 Muse Wonder 가격 분석 글에서 다룹니다.
직접 테스트할 것
벤치마크는 어디를 확인할지 알려줄 뿐, 무엇을 출시할지 결정해주지 않습니다. Meta가 주장하는 에이전트 강점을 검증하려면 자신의 장기 과제가 가장 적합한 시험입니다.
- 30단계 이상이 필요한 리팩터링
- 여러 문서를 동시에 검토하는 법률·비즈니스 과제
- 의도적 장애를 넣은 도구 호출 루프
- 동일한 구조화 출력 스키마에 대한 반복 검증
Apidog에서 Muse Wonder, Claude Opus 5.5, 현재 사용 중인 모델에 같은 프롬프트와 도구 정의를 설정하고, 구조화 출력을 검증한 뒤 각 응답의 usage를 비교하세요. 테스트 설계는 도구 호출 테스트 하네스와 비결정적 에이전트 테스트 가이드에서 설명합니다. Apidog를 다운로드하고 세 모델을 나란히 실행해 보세요.
API가 제공하는 것은 Full이 아니라 Wonder라는 점도 기억해야 합니다. Meta 프론티어 모델 벤치마크 헤드라인은 실제로 호출할 수 없는 모델을 설명할 가능성이 높습니다.
자주 묻는 질문
Muse Wonder는 현재 사용할 수 있는 최고 모델인가요?
독립 통합 점수에서는 아닙니다. Opus 5.5는 58점, Wonder Full은 56점, Wonder는 52점입니다. Wonder Full은 SWE-Marathon, DeepSWE, Harvey LAB, FocusBench 같은 특정 에이전트 벤치마크에서 앞섭니다.
어떤 벤치마크를 신뢰할 수 있나요?
Artificial Analysis 실행은 재현 가능한 서드파티 평가입니다. Meta의 교차 모델 표는 최선 노력 경쟁 설정을 사용한 Meta 실행입니다. MemoryBench, FocusBench, Personal Superintelligence Index는 Meta 전용입니다.
Gemini 4 Argon과 비교하면 어떤가요?
Argon은 Intelligence Index에서 53점으로 Wonder의 52점보다 높고, 절반 가격입니다. Terminal-Bench에서는 Wonder Full과 57%로 동점이며, 환각률은 15% 대 27%로更低입니다. 전체 비교는 Gemini 4 Argon 벤치마크 글에서 확인할 수 있습니다.
최대 노력은 모델을 바꾸나요?
아니요. 추론 노력은 Wonder가 생각하는 시간을 바꿀 뿐이며, muse-wonder-1.0을 Muse Wonder Full로 만들지 않습니다.
다음 단계
자신의 워크로드에 가장 가까운 벤치마크 하나를 선택하세요. 장기 코드 실행이 중요하다면 SWE-Marathon을, 사실 회상이 중요하다면 AA-Omniscience를 먼저 봅니다. 그 결과를 기준으로 Wonder를 시도할지 결정하세요. 통합 숫자 하나만으로 판단할 수 없습니다.
Top comments (0)