Benchmarks do Muse Wonder

O Muse Wonder Full pontua 56 no Artificial Analysis Intelligence Index, enquanto o Muse Wonder pontua 52. Isso o coloca atrás do Claude Opus 5.5, com 58, e do Claude Sonnet 5.5, com 56, mas à frente do GPT-6 Astra, do Gemini 4 Argon e do Claude Fable 5.1, todos com 53. O model card da Meta conta uma história diferente: o Wonder Full lidera em programação de longa duração, trabalho jurídico, automação de negócios e memória. As duas leituras podem ser verdadeiras porque medem coisas diferentes — e entender essa diferença é o ponto mais útil deste artigo.

Experimente o Apidog hoje

A seguir estão os números publicados pela Meta e pela Artificial Analysis, o que cada benchmark mede, onde o Wonder lidera, onde fica atrás e quais resultados ninguém fora da Meta consegue reproduzir. Para uma visão geral do modelo, veja o explicador do Muse Wonder.

A tabela do model card da Meta

A Meta comparou Muse Wonder Full, Muse Wonder, GPT-6 Astra e Claude Opus 5.5 usando esforço máximo de raciocínio. A tabela abaixo resume os resultados reportados pela Meta, conforme o relatório da VentureBeat sobre o model card.

Benchmark	O que mede	Wonder Full	Wonder	GPT-6 Astra	Claude Opus 5.5
Artificial Analysis Intelligence Index	Composto de dez avaliações	56	52	53	58
Harvey LAB-AA	Tarefas de agente jurídico	13.1	10.0	8.6	4.2
AutomationBench-AA	Automação de processos de negócio	45.4	39.1	41.6	41.2
JobBench	Trabalho profissional	75.3	70.5	66.1	75.4
DeepSWE 1.1	Engenharia de software	79.0	78.8	74.1	74.2
SWE-Marathon	Execuções longas de código	57.5	53.1	42.5	46.3
Terminal-Bench 4.0-AA	Tarefas de agente em terminal	57.1	52.0	59.1	59.6
HealthBench Pro	Perguntas de saúde	62.3	60.5	65.3	65.6

O padrão fica claro quando a tabela é lida na horizontal. O Wonder Full vence quando a tarefa é longa e agêntica: soma 11 pontos de vantagem sobre o Opus 5.5 no SWE-Marathon, cinco pontos no DeepSWE e chega a um resultado cerca de três vezes maior no benchmark jurídico. Ele fica atrás em tarefas de terminal, saúde e no índice composto. Mesmo na tabela da Meta, o Opus 5.5 é o modelo mais forte no agregado; o Wonder Full é o mais persistente em execuções prolongadas.

A própria Meta destaca duas ressalvas. Primeiro, as execuções dos concorrentes usaram “melhor esforço”, com configurações que podem não ter sido ideais para esses modelos. Segundo, algumas comparações de código usaram ferramentas diferentes, o que torna essas linhas menos controladas que as demais.

Benchmarks internos da Meta: memória e foco

Três números do material de lançamento da Meta vêm de testes que só a Meta pode executar. Dois deles têm comparações publicadas:

Benchmark	Wonder Full	Wonder	GPT-6 Astra	Claude Opus 5.5	Claude Fable 5.1
MemoryBench	85.5	85.6	81.4	81.5	79.0
FocusBench	54.2	44.9	47.7	45.8	36.6

O MemoryBench esconde fatos em conversas de 64K a 100K tokens, adiciona distratores e altera alguns fatos durante a interação; o modelo precisa lembrar a versão atual. Esse é o resultado apresentado como evidência do recurso Active Memory. O FocusBench mede se o modelo continua perseguindo um objetivo diante de bloqueios, associado ao Active Focus. Vale notar que o Wonder menor pontua abaixo do Astra e do Opus no FocusBench; apenas o Wonder Full lidera. O terceiro número interno, o Personal Superintelligence Index, não tem comparação publicada com concorrentes.

Esses testes descrevem comportamentos plausíveis e relevantes para uso real, mas também correspondem exatamente aos comportamentos para os quais a Meta treinou o modelo. Até que uma parte externa possa executá-los, trate esses resultados como uma descrição do objetivo de treinamento, não como validação independente.

As pontuações independentes: Artificial Analysis

A Artificial Analysis submeteu ambos os modelos ao Intelligence Index v4.3 com esforço máximo. Estes são o índice composto e os componentes publicados:

Avaliação	Wonder Full	Wonder	Muse Spark 1.3	Comparação relevante
Intelligence Index	56	52	48	Opus 5.5: 58; Sonnet 5.5: 56; Astra / Argon / Fable 5.1: 53; Grok 4.6: 44
Terminal-Bench 4.0	57%	52%	33%	Gemini 4 Argon: 57%
GDPval-AA (Elo)	1857, #2	n/d	1681	Opus 5.5: 1866; Sonnet 5.5: 1838
AA-Briefcase (Elo)	1729, #3	n/d	1581	—
CritPt	33%, #1	n/d	n/d	Rivais mais próximos: 31% a 32%
GDP.pdf	33%, #1	n/d	n/d	Rivais mais próximos: 31% a 32%
SciCode	63%, #3	n/d	n/d	—
AA-Omniscience (conhecimento)	30	25	25	Opus 5.5: 46; Astra: 43; Argon: 42; Sonnet 5.5: 32
Taxa de alucinação	23%	27%	33%	Gemini 4 Argon: 15%
Coding Agents Index	68	63	54	Claude Code com Sonnet 5.5: 68; Opus 5.5: 66

Três conclusões se destacam.

O salto sobre o Muse Spark é real. O composto sobe oito pontos em seis semanas, e o Terminal-Bench quase dobra. A Artificial Analysis descreveu isso como um salto material de inteligência em relação aos modelos anteriores da Meta.

Conhecimento é o ponto fraco. O Wonder Full pontua 30 no AA-Omniscience, contra 46 do Opus 5.5. Isso indica que ele conhece menos fatos, embora a taxa de alucinação mais baixa reduza a chance de ele inventar respostas. Para produtos intensivos em recuperação de informação, a recomendação prática é usar fundamentação com busca ou documentos próprios, em vez de depender apenas da memória do modelo.

Várias lideranças são estreitas. CritPt e GDP.pdf ficam apenas um a dois pontos à frente dos concorrentes, e a liderança no GDPval sobre o Sonnet 5.5 está dentro dos intervalos de confiança. O empate no Coding Agents Index com o Claude Code usando Sonnet 5.5 é o número mais relevante para quem escolhe um runtime de agentes — e pertence ao Wonder Full, não ao modelo disponível por API.

A linha em que Meta e Artificial Analysis divergem

O model card da Meta lista o Wonder Full com 59.0 no Artificial Analysis Intelligence Index. A Artificial Analysis publica 56. A diferença provavelmente vem de versões do índice, datas de execução ou do próprio harness de avaliação usado pela Meta, mas nenhuma das partes explicou publicamente a causa. Quando vir 59 citado, esse número vem da Meta; quando vir 56, vem da avaliação independente.

A mesma divergência aparece no AutomationBench. A tabela da Meta mostra 45.4 e 39.1, enquanto a Artificial Analysis reporta 71% e 68% no que parece ser uma versão diferente do teste. Sempre cite a fonte junto com o número.

Tokens e custo por trás das pontuações

Pontuações obtidas com esforço máximo têm um custo em tokens. A Artificial Analysis mediu cerca de 54.000 tokens de saída por tarefa para ambos os modelos Wonder, contra 62.000 do Argon, 78.000 do Fable 5.1 e 27.000 do GPT-6 Astra.

Na entrada, o Wonder usou 7,69 milhões de tokens no índice, e o Wonder Full usou 6,44 milhões — de duas a sete vezes mais que os modelos da OpenAI e do Google. Como resultado, o custo por tarefa do Wonder ficou em US$ 4,52: abaixo dos US$ 5,98 do Opus 5.5, mas acima dos US$ 3,26 do Astra, mesmo com o Astra tendo preço de tabela 2,5 vezes maior. O artigo sobre preços detalha o impacto em uma carga real.

O que testar por conta própria

Benchmarks mostram onde olhar, não o que enviar direto para produção. Para avaliar as forças agênticas alegadas pela Meta, o teste mais útil é a sua própria tarefa longa: uma refatoração de 30 passos, uma revisão multidocumentos ou um loop de ferramentas com falhas deliberadas.

No Apidog, configure os mesmos prompts e definições de ferramentas para Muse Wonder, Claude Opus 5.5 e o modelo que você usa hoje. Valide a saída estruturada e compare o campo usage em cada resposta. O harness de testes para chamadas de ferramentas e o guia de testes de agentes não determinísticos cobrem a configuração. Baixe o Apidog para executar os três lado a lado.

Lembre-se de que a API serve o Muse Wonder, não o Wonder Full. Qualquer manchete sobre o modelo de fronteira da Meta provavelmente descreve a versão que você não pode chamar diretamente.

Perguntas frequentes

O Muse Wonder é o melhor modelo disponível?

Não no índice composto independente. O Opus 5.5 pontua 58, contra 56 do Wonder Full e 52 do Wonder. O Wonder Full lidera benchmarks agênticos específicos como SWE-Marathon, DeepSWE, Harvey LAB e FocusBench.

Quais benchmarks posso confiar?

As execuções da Artificial Analysis são de terceiros e reproduzíveis. A tabela cruzada da Meta foi executada pela Meta, com configurações de “melhor esforço” para os concorrentes. MemoryBench, FocusBench e Personal Superintelligence Index são exclusivos da Meta.

Como ele se compara ao Gemini 4 Argon?

O Argon pontua 53 no índice, contra 52 do Wonder, pela metade do preço. Ele empata com o Wonder Full no Terminal-Bench, ambos com 57%, e alucina menos: 15% contra 27% do Wonder. O artigo de benchmarks do Argon tem a tabela completa.

O esforço máximo muda o modelo?

Não. O esforço altera por quanto tempo o Wonder raciocina; ele nunca transforma muse-wonder-1.0 em Muse Wonder Full.

Próximo passo

Escolha o benchmark mais próximo da sua carga de trabalho: SWE-Marathon para execuções longas de código ou AA-Omniscience para recuperação factual. Deixe esse número orientar o teste, não o índice composto.