Benchmarks do Claude Sonnet 5: O que os números realmente revelam

O Claude Sonnet 5 foi lançado em 30 de junho de 2026 com uma promessa clara da Anthropic: desempenho agêntico próximo ao Opus 4.8 por um custo menor. Neste guia, você verá como interpretar os benchmarks de lançamento, quando eles são úteis, onde eles falham e como reproduzir uma avaliação com seus próprios prompts. Para contexto completo do modelo, consulte o guia pilar do Claude Sonnet 5. Para os dados originais, veja a página oficial de anúncio da Anthropic.

Experimente o Apidog hoje

Resumo prático: em tarefas com uso de ferramentas, o Sonnet 5 fica a poucos pontos do Opus 4.8. Em raciocínio puro, sem feedback de ferramentas, a diferença cresce para cerca de seis pontos. Esse padrão deve orientar a escolha do modelo para agentes, assistentes de código e fluxos automatizados.

Todos os números abaixo são benchmarks de lançamento da Anthropic, corroborados em publicações do dia do lançamento. Trate-os como dados relatados, não como testes independentes.

A tabela de benchmarks

Três benchmarks explicam bem o posicionamento do Sonnet 5 em relação ao Sonnet 4.6 e ao Opus 4.8.

Benchmark	O que mede	Sonnet 5	Sonnet 4.6	Opus 4.8
SWE-bench Pro	Codificação agêntica em repositórios reais	63.2%	58.1%	69.2%
Terminal-Bench 2.1	Conclusão de tarefas de linha de comando	80.4%	não relatado	82.7%
OSWorld-Verified	Uso de computador e tarefas de GUI	81.2%	78.5%	83.4%

Leitura direta:

• O Sonnet 5 supera o Sonnet 4.6 em todos os benchmarks nos quais ambos aparecem.
• No SWE-bench Pro, o salto é de 58.1% para 63.2%, um ganho de mais de cinco pontos em codificação agêntica.
• No OSWorld-Verified, a pontuação sobe de 78.5% para 81.2%.
• Contra o Opus 4.8, o Sonnet 5 fica:
  • 6.0 pontos atrás no SWE-bench Pro;
  • 2.3 pontos atrás no Terminal-Bench 2.1;
  • 2.2 pontos atrás no OSWorld-Verified.

A diferença é menor nas tarefas em que o modelo pode usar ferramentas, terminal ou feedback do ambiente.

O padrão que importa

Ao analisar esses benchmarks, faça uma pergunta antes de olhar a pontuação:

O modelo pode usar ferramentas para corrigir o próprio caminho?

No Terminal-Bench 2.1 e no OSWorld-Verified, o modelo executa comandos, lê saídas e ajusta a próxima ação. Esse ciclo reduz a vantagem do modelo mais caro. Por isso, o Sonnet 5 fica a aproximadamente um a três pontos do Opus 4.8 nessas tarefas.

No SWE-bench Pro, a tarefa ainda é agêntica, mas exige mais raciocínio sobre grandes bases de código. Nesse cenário, a diferença sobe para seis pontos. Quando a tarefa recompensa raciocínio profundo em uma única passagem, o Opus mantém vantagem.

A leitura prática é:

• Use Sonnet 5 quando sua aplicação envolve agentes, ferramentas, terminal, assistentes de codificação ou loops de automação.
• Considere Opus 4.8 quando a tarefa depende de raciocínio difícil, com pouco ou nenhum feedback externo.
• Compare custo por tarefa resolvida, não apenas pontuação bruta.

Para uma comparação mais ampla, incluindo preço e contexto, veja Claude Sonnet 5 vs Opus 4.8.

O preço muda a interpretação dos benchmarks

Benchmarks isolados tendem a favorecer o modelo mais forte. Quando você adiciona preço, a decisão muda.

Segundo os dados de lançamento, o Sonnet 5 tem preço introdutório de:

• US$ 2 por milhão de tokens de entrada;
• US$ 10 por milhão de tokens de saída;

até 31 de agosto de 2026.

Depois disso, passa para o padrão:

• US$ 3 por milhão de tokens de entrada;
• US$ 15 por milhão de tokens de saída.

O Opus 4.8 custa:

• US$ 5 por milhão de tokens de entrada;
• US$ 25 por milhão de tokens de saída.

Nas taxas padrão, o Sonnet 5 custa 60% do preço do Opus 4.8 tanto na entrada quanto na saída.

Agora releia os benchmarks:

• Uma diferença de 2.3 pontos no Terminal-Bench 2.1 pode não justificar pagar o prêmio do Opus.
• Uma diferença de 6 pontos no SWE-bench Pro pode justificar o custo em fluxos de código mais complexos.
• Para agentes em volume, o custo por sucesso tende a ser mais importante que a precisão isolada.

Há uma ressalva importante: o Sonnet 5 usa um novo tokenizador que produz aproximadamente 30% mais tokens para o mesmo texto de entrada. O preço por token não mudou em relação ao Sonnet 4.6, mas a mesma solicitação pode custar mais se gerar mais tokens cobrados.

Portanto, não modele custo apenas com base no preço por milhão de tokens. Meça a contagem real de tokens nos seus prompts. O detalhamento está no guia de preços do Claude Sonnet 5.

O que os benchmarks não mostram

Benchmarks públicos ajudam a comparar modelos, mas não substituem uma avaliação na sua aplicação. Três lacunas importam.

1. Sua carga de trabalho não é o SWE-bench

Se você trabalha com TypeScript, APIs privadas, regras internas de arquitetura ou convenções específicas da empresa, um benchmark em repositórios públicos não representa totalmente seu cenário.

Use o ranking como referência inicial, não como previsão absoluta.

2. Custo por tarefa resolvida supera precisão bruta

Um modelo dois pontos abaixo, mas 40% mais barato, pode resolver mais tarefas com o mesmo orçamento.

Para agentes em produção, acompanhe métricas como:

• custo por execução;
• custo por tarefa resolvida;
• taxa de sucesso;
• número médio de chamadas de ferramenta;
• tokens por execução;
• retries por tarefa.

3. Latência e throughput não aparecem

Benchmarks medem se a resposta está correta. Eles não mostram:

• tempo até a primeira resposta;
• tempo total de execução;
• comportamento sob pensamento adaptativo;
• variação de latência em chamadas longas;
• desempenho quando vários agentes rodam em paralelo.

Para ferramentas interativas, uma resposta “boa o suficiente” e rápida pode ser melhor que uma resposta mais precisa, porém lenta.

Segurança, resumidamente

Tabelas de benchmark raramente incluem segurança, mas isso afeta a implementação.

A Anthropic relata que o Sonnet 5 tem menor taxa geral de comportamentos indesejados que o Sonnet 4.6, com menos alucinações e menos bajulação. Também é o primeiro modelo da camada Sonnet com salvaguardas de cibersegurança em tempo real.

Na prática, implemente tratamento para recusas.

Solicitações sobre tópicos cibernéticos proibidos ou de alto risco podem retornar uma resposta HTTP 200 com:

{
  "stop_reason": "refusal"
}

Ou seja: não trate apenas códigos HTTP como sinal de sucesso. Valide também o campo stop_reason.

Exemplo de checagem simples:

if (response.stop_reason === "refusal") {
  throw new Error("A solicitação foi recusada pelo modelo.");
}

Também há ressalvas. Na auditoria comportamental automatizada da Anthropic, o Sonnet 5 apresentou taxas de comportamento desalinhado mais altas que o Opus 4.8. Em capacidade cibernética, ele fica abaixo dos modelos Opus, e nenhum modelo Sonnet conseguiu desenvolver um exploit funcional, relatado como 0.0%.

Detalhes completos estão no hub de transparência da Anthropic.

Como reproduzir os benchmarks nas suas próprias tarefas

O benchmark mais útil é aquele executado contra seus prompts reais.

Para isso, mantenha três coisas constantes:

1. mesmo prompt;
2. mesma configuração de chamada;
3. mesmas métricas de avaliação.

Depois, altere apenas o ID do modelo.

O Apidog permite criar uma chamada para a API de Mensagens da Anthropic, salvar em uma coleção, armazenar a chave de API como variável de ambiente e repetir a execução com asserções.

Exemplo de chamada para o Claude Sonnet 5

O ID do modelo é:

claude-sonnet-5

Exemplo com curl:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5",
    "max_tokens": 2048,
    "messages": [
      {
        "role": "user",
        "content": "Refactor this function to remove the nested loop and explain the change."
      }
    ]
  }'

Como fazer um teste A/B entre modelos

Mantenha o corpo da requisição igual e troque apenas o campo model:

{
  "model": "claude-sonnet-5"
}

Compare com:

{
  "model": "claude-opus-4-8"
}

E com:

{
  "model": "claude-sonnet-4-6"
}

No Apidog, armazene o modelo em uma variável de ambiente, por exemplo:

ANTHROPIC_MODEL=claude-sonnet-5

Depois use essa variável no corpo da requisição:

{
  "model": "{{ANTHROPIC_MODEL}}",
  "max_tokens": 2048,
  "messages": [
    {
      "role": "user",
      "content": "Refactor this function to remove the nested loop and explain the change."
    }
  ]
}

Métricas mínimas para coletar

Para cada execução, registre:

• modelo usado;
• prompt;
• tokens de entrada;
• tokens de saída;
• latência total;
• stop_reason;
• se a tarefa foi resolvida;
• custo estimado;
• número de retries, se houver.

Também adicione asserções para validar o formato da resposta.

Exemplo conceitual:

pm.test("A resposta não deve ser uma recusa", function () {
  pm.expect(pm.response.json().stop_reason).to.not.equal("refusal");
});

pm.test("A resposta deve ter conteúdo", function () {
  const json = pm.response.json();
  pm.expect(json.content.length).to.be.greaterThan(0);
});

Se você ainda não estruturou testes de API dessa forma, veja o guia de teste sem Postman.

Atenção aos parâmetros removidos

Ao migrar scripts, remova parâmetros incompatíveis com o Sonnet 5.

O Sonnet 5 não aceita valores não padrão para:

• temperature;
• top_p;
• top_k.

Também rejeita o campo antigo:

{
  "thinking": {
    "type": "enabled",
    "budget_tokens": 1024
  }
}

Esses casos retornam erro 400. Remova esses campos antes de executar benchmarks, ou você medirá falhas de configuração em vez de desempenho do modelo.

Baixe o Apidog para montar a solicitação uma vez e reutilizá-la em todos os modelos que você deseja comparar.

FAQ

Qual é a pontuação do Claude Sonnet 5 no SWE-bench Pro?

Os números de lançamento da Anthropic relatam 63.2% para o Sonnet 5, contra 58.1% para o Sonnet 4.6 e 69.2% para o Opus 4.8. É um ganho geracional de mais de cinco pontos em codificação agêntica e cerca de seis pontos abaixo do Opus.

O Sonnet 5 é melhor que o Opus 4.8?

Não em pontuação bruta. O Opus 4.8 lidera todos os benchmarks relatados. Porém, o Sonnet 5 fica a um a três pontos em tarefas com muitas ferramentas e custa 60% do preço padrão do Opus. Para agentes e loops de codificação, ele pode ter melhor custo-benefício. Veja a comparação completa em Claude Sonnet 5 vs Opus 4.8.

Esses benchmarks são independentes?

Não. Eles são benchmarks de lançamento da Anthropic, corroborados em publicações do dia do lançamento. Use-os como referência inicial e valide com sua própria carga de trabalho.

Por que o Sonnet 5 se sai melhor em tarefas com ferramentas?

Porque o modelo pode executar comandos, observar resultados e corrigir o próximo passo. Esse feedback reduz a diferença para o Opus. Em tarefas de raciocínio puro, sem ferramentas, o Opus mantém uma vantagem maior.

Como faço benchmark do Sonnet 5 com meus próprios prompts?

Chame a API de Mensagens da Anthropic com o modelo claude-sonnet-5, salve a requisição em uma ferramenta como o Apidog, adicione asserções e execute a mesma coleção alternando o ID do modelo. Meça custo por tarefa, latência e taxa de sucesso, porque esses dados não aparecem nos rankings públicos.