Agentes de código têm avançado rápido na capacidade de gerar patches que passam em testes funcionais.
Mas passar nos testes não significa, automaticamente, que a mudança está pronta para ser aceita em um repositório real.
É o que mostra o benchmark SWE-Gate, apresentado em setembro de 2026 no arXiv (SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents).
Os pesquisadores construíram 303 instâncias de reparo em nível de repositório, baseadas em 75 projetos open-source em Python. Além dos testes funcionais, eles incluíram restrições de revisão extraídas de comentários reais de pull requests.
O resultado foi claro:
- Entre 644 reparos que passaram nos testes funcionais
- 221 falharam nas restrições de revisão
Ou seja: o agente resolveu o problema do ponto de vista dos testes, mas ainda violou critérios que revisores humanos normalmente exigem — padrões do projeto, limites arquiteturais, estilo, restrições implícitas ou decisões de design.
O que isso muda na prática
Avaliar agentes apenas por "passou no teste" cria uma falsa sensação de prontidão.
Em ambientes reais, a aceitação de uma mudança depende também de:
- Conformidade com o estilo e as convenções do repositório
- Respeito a decisões arquiteturais já existentes
- Ausência de efeitos colaterais não cobertos pelos testes
- Alinhamento com restrições que nem sempre estão escritas de forma explícita
O gap entre "funciona" e "é aceitável" continua sendo um dos principais pontos de atenção para quem usa agentes em produção.
Conclusão
A capacidade de gerar código que passa em testes aumentou.
A capacidade de gerar mudanças que sobrevivem à revisão humana e às restrições do projeto ainda é desigual.
Para times que usam agentes no dia a dia, o critério de sucesso precisa ir além do verde no pipeline.
📚 Artigo Completo e Leituras Recomendadas
Leia o artigo mais aprofundado, com exemplos e a análise de arquitetura completa no meu blog.
Quem quiser aprofundar o tema de forma estruturada — supervisão, auditoria e governança de código gerado por IA — pode consultar a série Engenharia de Software Assistida por IA.
💡 Destaques:
- 🏷️ Cupom de 30% OFF nos eBooks:
LEIA30 - 📖 Disponível também no Kindle Unlimited!
📖 Livros Físicos (capa comum):
- 📘 Volume I - A Nova Realidade da Engenharia de Software:
- 📙 Volume II - Fundamentos que a IA Não Substitui:
- 📗 Volume III - Engenharia de Requisitos na Era da IA:
- 📕 Volume IV - Arquitetura e Design de Soluções na Era da IA:
- 📓 Volume V - Delegação Técnica para IA:
- 📔 Volume VI - Supervisão e Auditoria de Código Gerado por IA:
- 📒 Volume VII - Aplicações Reais:
- 📗 Volume VIII - Engenharia de Contexto e Governança de IA:
Fonte:
Xin He et al. - SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents (arXiv:2609.04167, setembro/2026)
Top comments (0)