O que são Flaky Tests e Como Evitá-los

Disclaimer

Este texto foi inicialmente concebido pela IA Generativa em função da transcrição do episódio do nosso canal, Dev Eficiente. Se preferir acompanhar por vídeo, é só dar o play.

Introdução

No mundo do desenvolvimento de software, testes são fundamentais para garantir a qualidade e a confiabilidade do código. No entanto, nem todos os testes são iguais. Alguns podem se comportar de maneira inconsistente, passando em um momento e falhando em outro, mesmo sem alterações no código. Esses são os chamados Flake Tests, e eles podem ser um grande problema para a confiança na sua suíte de testes. Neste post, vamos explorar o que são Flake Tests, suas causas e como evitá-los.

O que são Flake Tests?

Flake Tests são testes que passam de vez em quando e falham de vez em quando, mesmo sem mudanças no código. Imagine que você está rodando um teste, ou sua integração contínua está executando, e ele passa. De repente, ele falha sem motivo aparente. Você pensa que introduziu um bug, mas ao rodar novamente, o teste volta a passar. Esse comportamento inconsistente é o que caracteriza um Flake Test.

O grande problema com Flake Tests é que eles não fornecem informações confiáveis. Se o teste falha, você não sabe se é devido a um bug real ou apenas ao comportamento inconsistente do teste. Se ele passa, você também não tem certeza se o sistema está realmente funcionando corretamente. Em resumo, Flake Tests são inúteis para o propósito principal dos testes: garantir a qualidade do software.

Por que Flake Tests são um problema?

Flake Tests são comuns em sistemas grandes e complexos. Empresas como Google e Facebook relatam a existência desses testes em seus ambientes. Eles surgem principalmente quando você está testando algo sobre o qual não tem controle total. Por exemplo:

1. Integração com sistemas externos: Se você depende de uma API externa, como a dos Correios, e ela está temporariamente indisponível, seu teste pode falhar sem motivo relacionado ao seu código.
2. Banco de dados: Se o banco de dados não está disponível durante a execução do teste, ele pode falhar.
3. Concorrência: Testes que envolvem operações paralelas podem falhar devido à ordem imprevisível em que as threads são executadas.
4. Testes end-to-end: Em testes de interface, como os feitos com Selenium ou Playwright, um atraso de meio segundo na resposta do servidor pode causar uma falha.

Como os Flake Tests surgem?

Uma descoberta interessante é que Flake Tests nascem flake. Ou seja, a característica de inconsistência já está presente desde a primeira implementação do teste. Isso significa que o problema não surge devido a mudanças ou melhorias no código, mas sim às decisões tomadas durante a criação do teste.

Como lidar com Flake Tests?

Ignorar Flake Tests não é uma opção. Eles podem minar a confiança na sua suíte de testes, levando a situações em que você ignora falhas reais, pensando que são apenas flakiness. Aqui estão algumas estratégias para lidar com eles:

1. Monitoramento: Identifique e monitore testes que apresentam comportamento inconsistente.
2. Ação imediata: Assim que detectar um Flake Test, tome uma ação. Isso pode incluir corrigir o teste ou movê-lo para uma suíte de testes separada, dedicada a testes flaky.
3. Regras rígidas: Algumas empresas, como o Facebook, adotam políticas rigorosas. Se um teste flaky não for corrigido dentro de um prazo determinado, ele é deletado da base de código. A lógica é que um teste flaky que ninguém corrige é inútil.

Como evitar Flake Tests?

A melhor maneira de evitar Flake Tests é ganhar controle sobre os componentes envolvidos no teste. Aqui estão algumas dicas práticas:

1. Reduza dependências externas: Se você depende de uma API externa que é inconsistente, considere criar um mock ou simular o comportamento esperado.
2. Controle o ambiente de teste: Garanta que o banco de dados e outros recursos estejam sempre disponíveis durante a execução dos testes.
3. Simplifique o design do código: Códigos complexos são mais propensos a gerar Flake Tests. Divida a complexidade em componentes menores e mais simples.
4. Isole regras de negócio: Em testes que envolvem concorrência, isole a lógica de negócio e teste-a de forma linear. Depois, crie testes específicos para o comportamento concorrente.
5. Repetição de testes: Ferramentas como JUnit e Gradle permitem rodar um teste várias vezes. Se ele passar na maioria das execuções, você pode considerá-lo estável.

Conclusão

Flake Tests são um desafio comum no desenvolvimento de software, especialmente em sistemas grandes e complexos. Eles podem minar a confiança na sua suíte de testes e levar a decisões erradas. A chave para lidar com eles é ganhar controle sobre os componentes testados e agir rapidamente quando um teste flaky é detectado.

Lembre-se: um teste flaky que não é corrigido é um teste inútil. Priorize a confiabilidade da sua suíte de testes para garantir a qualidade do seu software.

Sobre a Jornada Dev + Eficiente

A Jornada Dev + Eficiente é um treinamento focado em fazer você crescer na carreira como uma pessoa cada vez mais especializada em Design e Arquitetura de Software.

A Jornada pavimenta este caminho fazendo com que você seja cada vez mais capaz de colocar código de qualidade em produção com cada vez mais velocidade.

Para conhecer mais, acesse https://deveficiente.com/kr/lp