Agentes de código reconhecem estrutura de implementação. Repositórios científicos e de negócio pedem outra coisa: preservar unidades, invariantes, sistemas de coordenadas, regras de domínio e contratos que não estão escritos na sintaxe. O benchmark SWE-bench Science (arXiv:2608.19799) montou 119 tarefas a partir de 98 repositórios GitHub, em 20 domínios científicos. O critério não é só gerar um patch que compile. É alterar o repositório sem quebrar os contratos científicos que o código carrega.
Mesmo a melhor configuração avaliada no leaderboard recente — Claude Code com Opus-5 (max) — ficou em cerca de 47,9% de pass@1, abaixo de 50%. No subconjunto Hard70, o mesmo agente cai para cerca de 21%. Os autores agrupam as falhas em quatro mecanismos recorrentes: déficit de conhecimento ou abstração científica (o agente não captura o fenômeno, a matemática ou a semântica que o código representa); exploração equivocada ou reparo superficial (corrige o sintoma, não a causa); cobertura incompleta ou falha de integração (o patch resolve um ponto e deixa outros quebrados); e falha em generalizar conhecimento de domínio (aplica uma regra observada num caso onde ela deixa de valer).
Uma ablação no mesmo estudo remove a orientação científica explícita e mantém o repositório e o contexto executável. Informação de domínio bem ancorada pode restringir o reparo e melhorar desempenho médio e eficiência de tokens. Orientação mal alinhada induz ancoragem no caminho errado e não garante sucesso no reparo. O padrão de código continua acessível; o domínio, não.
Em software de negócio o mesmo desenho aparece sob outra roupagem: regras de compliance, invariantes de produto, contratos entre serviços, políticas de risco. O agente que "conserta" o sintoma sem carregar o significado do domínio produz patch plausível e regressão cara. Quem libera agente para editar código em áreas onde o domínio não está explícito no contexto — documentação, testes de contrato, invariantes nomeadas — está pedindo que o modelo invente a semântica que não leu.
Leia o artigo mais aprofundado clicando abaixo.
Autor da série de livros "Engenharia de Software Assistida por IA" (disponível na Amazon).
Aprofunde-se no tema de forma estruturada — do contexto à governança de agentes — pode consultar a série "Engenharia de Software Assistida por IA" clicando na imagem abaixo:
- Cupom de 30% OFF:
LEIA30. - Disponível também no Kindle Unlimited.
Referências
- arXiv:2608.19799 — SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science? (Xu et al.); 119 tasks, 98 repos, 20 domains; pass@1 < 50% no melhor agente; quatro mecanismos de falha
- Leaderboard SWE-bench Science (swescience.github.io, out/2026): Claude-Opus-5 (max) ~47,9% overall; Hard70 ~21%
Tags
#EngenhariaDeSoftware #IA #InteligenciaArtificial #SoftwareEngineering #AI #CodingAgents #Dominio #SWEBench #EngenhariaDeSoftwareAssistidaPorIA
Top comments (0)