Claude Fable 5.1: o que os benchmarks realmente mostram
A Anthropic lançou o Claude Fable 5.1 em 1º de setembro de 2026, comparando-o ao Fable 5, Opus 5 e GPT-5.6 Sol em nove testes. O destaque foi o Terminal-Bench-Science: 52,6% para o Fable 5.1 contra 24,7% para o Fable 5. Já no CursorBench, pouco destacado pela imprensa, a vantagem sobre o Opus 5 foi de apenas 3,4 pontos, embora o modelo custe o dobro.
Este guia consolida os números publicados, explica o que cada benchmark mede e separa diferenças grandes de diferenças marginais. Também cobre o que a divulgação omitiu: os resultados são fornecidos pela Anthropic, o Mythos 5.1 supera o Fable 5.1 no único teste de codificação autônoma publicado para ambos, e a melhor resposta a uma tabela de lançamento é executar suas próprias avaliações.
A fonte primária é a publicação de lançamento da Anthropic. O contexto do modelo está em o que é o Claude Fable 5.1.
A tabela completa
| Benchmark | O que mede | Fable 5.1 | Fable 5 | Opus 5 | GPT-5.6 Sol |
|---|---|---|---|---|---|
| Terminal-Bench-Science 0.1 | Pesquisa científica autônoma em um terminal | 52.6% | 24.7% | 29.0% | 22.4% |
| Terminal-Bench 4.0 | Codificação autônoma em um terminal | 55.8% | 42.0% | 52.3% | 37.3% |
| GDPval-AA v2 | Trabalho de conhecimento economicamente valioso (Elo) | 1853 | 1723 | 1824 | 1711 |
| OSWorld 2.0 (crédito parcial) | Uso de computador em tarefas reais de desktop | 77.9% | 72.9% | 75.4% | não reportado |
| OSWorld 2.0 (estrito) | Mesmo teste, considerando apenas a conclusão total | 41.7% | 36.1% | 39.6% | não reportado |
| Humanity’s Last Exam (sem ferramentas) | Perguntas de raciocínio de nível especialista | 60.9% | 57.8% | 56.6% | não reportado |
| Humanity’s Last Exam (com ferramentas) | Mesmo teste, com pesquisa e código | 65.0% | 63.8% | 63.6% | não reportado |
| AutomationBench | Fluxos de trabalho de negócios de ponta a ponta | 31.4% | 17.1% | 26.9% | 19.6% |
| CursorBench 3.2.0 | Tarefas de codificação no estilo IDE | 73.4% | 70.5% | 70.0% | 67.2% |
A Anthropic também publicou um resultado do Mythos 5.1: 60,9% no Terminal-Bench 4.0. A VentureBeat relatou ainda 82% para o Fable 5.1, contra 74% do Opus 5 e 57% do Fable 5, no Browserbase e em tarefas mais difíceis de agentes de navegador. Esse último resultado vem da cobertura da imprensa, não da publicação de lançamento.
As maiores diferenças
Terminal-Bench-Science 0.1
52,6% contra 24,7% do Fable 5 e 29,0% do Opus 5.
O Fable 5.1 mais que dobra o resultado do predecessor e quase dobra o do Opus 5 em um benchmark que coloca o modelo em um terminal com ferramentas científicas para executar pesquisas em múltiplas etapas.
É a evidência mais clara de que o foco declarado da Anthropic em “resolução de problemas de longo prazo” produziu um ganho mensurável. Porém, trata-se de um benchmark na versão 0.1: o conjunto de tarefas é novo e as pontuações podem mudar à medida que ele amadurece.
AutomationBench
31,4% contra 17,1% do Fable 5 e 26,9% do Opus 5.
O AutomationBench mede fluxos de trabalho de negócios de ponta a ponta em várias aplicações. Os números absolutos são baixos para todos, mas o Fable 5.1 quase dobra o resultado do Fable 5 e supera o Opus 5 por 4,5 pontos.
Para produtos que automatizam tarefas entre múltiplas aplicações, esta é uma das linhas mais relevantes.
Terminal-Bench 4.0
55,8% contra 42,0% do Fable 5 e 52,3% do Opus 5.
O ganho sobre o Fable 5 foi de 13,8 pontos em codificação autônoma. Em relação ao Opus 5, a vantagem é de 3,5 pontos.
O Opus 5 havia ultrapassado o Fable 5 neste benchmark em julho. Com o Fable 5.1, a vantagem da camada Fable sobre a camada Opus retorna, mas é menor do que era em junho. A análise dos benchmarks do Opus 5 reúne os números de julho.
GDPval-AA v2
1853 contra 1723 do Fable 5.
O ganho foi de 130 pontos Elo em tarefas de trabalho de conhecimento. Esse é o benchmark que a Anthropic usa para sustentar afirmações sobre documentos, planilhas e apresentações.
A diferença para o Opus 5 é de 29 pontos Elo, uma margem pequena.
As menores diferenças
CursorBench 3.2.0
73,4% contra 70,5% do Fable 5 e 70,0% do Opus 5.
O CursorBench mede tarefas de codificação no estilo IDE. A vantagem do Fable 5.1 é de aproximadamente três pontos sobre os dois modelos.
Este é o benchmark mais próximo do fluxo de trabalho da maioria dos desenvolvedores. Se o uso principal for “ajude-me no meu editor”, a tabela de lançamento, sozinha, não justifica pagar o dobro.
OSWorld 2.0
77,9% / 41,7% para o Fable 5.1 contra 75,4% / 39,6% para o Opus 5.
O teste mede uso de computador. A diferença para o Opus 5 é de cerca de dois pontos nas duas métricas e de cinco pontos em relação ao Fable 5.
A pontuação estrita é a mais importante: menos da metade das tarefas foi totalmente concluída por qualquer modelo. O uso de computador continua sendo uma das áreas mais fracas da fronteira.
Humanity’s Last Exam
60,9% / 65,0% contra 56,6% / 63,6% do Opus 5.
Sem ferramentas, o Fable 5.1 tem vantagem de 4,3 pontos sobre o Opus 5 — a maior entre as pequenas diferenças. Com ferramentas, a margem cai para 1,4 ponto, pois pesquisa e execução de código nivelam os resultados.
A métrica sem ferramentas representa melhor o raciocínio bruto. A métrica com ferramentas se aproxima mais do uso real.
Fable 5.1 vs. GPT-5.6 Sol
A Anthropic publicou quatro benchmarks com uma coluna para o GPT-5.6 Sol. O Fable 5.1 ficou à frente em todos:
- Terminal-Bench-Science: 30,2 pontos;
- Terminal-Bench 4.0: 18,5 pontos;
- AutomationBench: 11,8 pontos;
- CursorBench: 6,2 pontos.
No GDPval-AA v2, o resultado foi 1853 contra 1711.
Há duas ressalvas: a Anthropic executou os testes do modelo concorrente, e as cinco linhas restantes não têm resultados do GPT-5.6 Sol por uma razão que não foi declarada. A comparação entre GPT-5.6 Sol e Fable 5 cobre o confronto anterior. Com os números atuais, o Fable 5.1 amplia todas as diferenças observadas pelo Fable 5.
O que a cobertura de lançamento omitiu
Todos os números foram produzidos pelo fornecedor
A Anthropic executou todos os testes, incluindo os resultados do modelo concorrente. Nenhum laboratório independente havia reproduzido os números no lançamento.
O histórico de benchmarks da Anthropic costuma ser consistente, mas diferenças pequenas, como as do CursorBench e do OSWorld, podem ser invertidas por mudanças de metodologia ou de pontuação.
O Mythos 5.1 representa um teto conhecido
O cartão do sistema e a publicação de lançamento afirmam que Fable 5.1 e Mythos 5.1 são “o mesmo modelo, mas com diferentes níveis de salvaguardas”.
A Anthropic publicou 60,9% para o Mythos 5.1 no Terminal-Bench 4.0, contra 55,8% do Fable 5.1. A diferença de cinco pontos sugere o custo das salvaguardas na codificação autônoma: o modelo amplamente lançado mais capaz da Anthropic tem um irmão conhecido que pontua acima dele. A comparação entre Mythos 5.1 e Fable 5.1 discute o acesso a cada modelo.
O nível de esforço não foi informado
A documentação de esforço da Anthropic afirma que os ganhos do Fable 5.1 são maiores em xhigh e max.
A publicação de lançamento não informa qual nível gerou cada pontuação nem qual nível foi usado nos modelos de comparação. Como o esforço é uma das principais alavancas de qualidade, essa omissão dificulta a reprodução dos resultados.
O desempenho multilíngue permanece estável
A Anthropic afirma que o desempenho multilíngue está no mesmo nível do Fable 5, sem melhoria. Para cargas de trabalho que não são em inglês, a tabela de lançamento pode superestimar o ganho.
Os números de salvaguarda medem outra coisa
A Anthropic relata:
- 85% menos falsos positivos em biologia, em solicitações benignas;
- aproximadamente 60% menos intervenções cibernéticas por sessão no Claude Code, em comparação com o Fable 5.
Esses números foram medidos no tráfego da própria Anthropic e não são reproduzíveis externamente. Ainda assim, para quem enfrenta recusas no Fable 5, eles podem ser mais relevantes do que uma linha de capacidade.
O que testar por conta própria
A tabela de lançamento indica onde investigar. Suas próprias avaliações devem orientar qualquer migração. Reproduza quatro cenários:
-
Agente de longo prazo: execute uma tarefa do seu produto até a conclusão com Fable 5.1 em
high, Opus 5 emxhighe Fable 5 emhigh. Esse é o equivalente prático do Terminal-Bench-Science e do AutomationBench. - Codificação: rode seus dez prompts mais difíceis com o mesmo nível de esforço no Fable 5.1 e no Opus 5. Se houver empate, você reproduziu a história do CursorBench.
-
Varredura de esforço: execute uma tarefa rotineira apenas no Fable 5.1, de
lowamax. A afirmação da Anthropic é quemediumequivale ao Fable 5 e quelowcompete com o Opus 5 em custo por tarefa. - Recusas: conte as recusas em prompts benignos de segurança ou ciências da vida, comparando Fable 5 e Fable 5.1. Esse teste verifica as alegações de redução de 60% e 85%.
Crie os quatro testes como solicitações no Apidog, usando model e effort como variáveis de ambiente. Adicione asserções para stop_reason e para a presença de uma string esperada na resposta. Em seguida, execute a coleção por modelo.
O histórico de execução gera uma tabela reproduzível sem nova infraestrutura. Baixe o Apidog para começar; o passo a passo da API mostra os formatos de solicitação.
Como mapear os benchmarks para uma decisão técnica
- Agentes de longo prazo, pesquisa e automação: as diferenças são grandes e consistentes. O Fable 5.1 é o modelo a investigar; a análise de preços mostra como leituras de cache mais baratas reduzem a diferença de custo nessas cargas.
- Codificação em IDE, perguntas de conhecimento e raciocínio com ferramentas: a diferença para o Opus 5 fica entre um e quatro pontos. A regra da Anthropic é manter o Opus 5, a menos que ele falhe nas suas avaliações com maior esforço. Consulte a comparação entre Fable 5.1 e Opus 5.
- Migração do Fable 5: todas as linhas melhoraram, o preço não mudou e a taxa de falsos positivos caiu. A comparação entre Fable 5.1 e Fable 5 detalha o custo da migração.
FAQ
Qual é o melhor resultado de benchmark do Claude Fable 5.1?
O Terminal-Bench-Science 0.1, com 52,6%: mais que o dobro dos 24,7% do Fable 5 e acima dos 29,0% do Opus 5 e dos 22,4% do GPT-5.6 Sol. Todos os números foram publicados pela Anthropic.
Como o Fable 5.1 se compara ao Opus 5 em codificação?
Ele marcou 55,8% contra 52,3% no Terminal-Bench 4.0 e 73,4% contra 70,0% no CursorBench 3.2.0. São vantagens reais, mas estreitas, de aproximadamente três pontos no CursorBench.
O Fable 5.1 é melhor que o GPT-5.6 Sol?
Nos quatro benchmarks em que a Anthropic publicou resultados para ambos, sim: a vantagem varia de 6 a 30 pontos. A Anthropic executou os testes do GPT-5.6 Sol, e cinco das nove linhas não têm dados desse modelo.
Os benchmarks do Fable 5.1 foram verificados independentemente?
Não no lançamento. Todos os números foram produzidos pela Anthropic. Use-os como hipóteses para testar na sua própria carga de trabalho.
Como o Mythos 5.1 pontua?
A Anthropic publicou um resultado: 60,9% no Terminal-Bench 4.0, cinco pontos acima dos 55,8% do Fable 5.1. Os dois são o mesmo modelo com diferentes níveis de salvaguardas.
Qual nível de esforço produziu essas pontuações?
A Anthropic não informou. A orientação disponível é que os ganhos do Fable 5.1 são maiores em xhigh e max. Portanto, espere resultados menores em configurações de esforço mais baixas e teste a configuração usada na sua aplicação.
Top comments (0)