O mesmo agente, o mesmo modelo, o mesmo prompt e o mesmo ambiente. Rode de novo. O resultado muda. O paper Identical Runs, Different Results: Benchmarking AI Coding Agents on Open-Weight Models (arXiv:2609.33812) repetiu seis combinações agente-modelo 52 vezes cada, sob configuração fixa - dados, prompt, orçamento, máquina, paralelismo - e somou 584 execuções. A variação entre corridas idênticas de uma mesma combinação foi maior do que a diferença entre combinações distintas. Rankings inverteram. O que parecia melhor numa rodada caía em outra.
Comparar com poucas execuções não ordena de forma confiável. Para separar diferenças pequenas entre agentes no estudo, os autores estimam dezenas a mais de cem corridas por braço. Uma melhoria de cerca de 2 pontos percentuais em pass@1, em trabalhos citados, pode exigir cerca de 9 execuções independentes; 1 ponto percentual, da ordem de 36. Uma única demonstração ou um único PR bem-sucedido não mede confiabilidade. Mede uma amostra.
Há outro detalhe operacional. Menos de uma corrida em vinte quebrou regras de dados da tarefa e essas corridas concentraram os scores mais altos. Rejeitar o que viola as regras e ficar com o melhor resultado compatível entre poucas tentativas melhorou o artefato entregue, mesmo quando poucas corridas ainda não bastavam para ranquear agentes com precisão. Custo também divergiu: no mesmo modelo, dois agentes chegaram a mais de vinte vezes de diferença no preço de lista, em grande parte por comportamento de cache de prompt. Agente e modelo precisam ser avaliados como par, com repetição e com conformidade reportada ao lado da qualidade.
Na prática de time, isso muda a pergunta de "o agente resolveu uma vez?" para "em quantas tentativas, sob quais regras, e com que estabilidade o resultado se repete?". Liberar para produção com base em uma demo, um benchmark único ou um diff sortudo é confundir sucesso pontual com processo controlável. Quem decide compra, política de uso ou critério de merge precisa de evidência de repetição - não só de um resultado que passou naquele dia.
Leia o artigo mais aprofundado, com exemplos e a análise de arquitetura completa.
Autor da série de livros "Engenharia de Software Assistida por IA" (disponível na Amazon). Aprofunde-se no tema de forma estruturada do contexto à governança de agentes pode consultar a série "Engenharia de Software Assistida por IA" clicando na imagem abaixo:
- Cupom de 30% OFF:
LEIA30. - Disponível também no Kindle Unlimited.
Referências
- arXiv:2609.33812 Identical Runs, Different Results: Benchmarking AI Coding Agents on Open-Weight Models (Ariño de la Rubia & Pafka, set/2026); 584 runs; 6 pairings x 52; variação intra-par > diferença entre pares
Tags
#EngenhariaDeSoftware #IA #InteligenciaArtificial #SoftwareEngineering #AI #CodingAgents #Benchmark #Confiabilidade #EngenhariaDeSoftwareAssistidaPorIA
Top comments (0)