Um alerta notificou: "taxa de erro de 12,22%".
Fiz a conta à mão: 3 falhas em 19 execuções dão 15,8%.
O alerta não estava quebrado. Estava calculando outra coisa. A fórmula era avaliada minuto a minuto e depois tirava a média das razões. Com amostras pequenas, o número parece certo e é errado.
Depois disso comecei a colecionar esses casos. Todos são funcionalidades, e todos erram em silêncio:
- Pedir 30 ou 60 dias de dados devolvia os mesmos 21 dias, sem nenhum aviso.
- Uma consulta em lote devolveu resultados idênticos para filtros diferentes. O erro foi de 24 vezes.
- Um alerta de "reinício em loop" só dispararia com 3 reinícios no mesmo minuto. Nunca disparou, com 19 reinícios em 7 dias.
- Uma variável de dashboard sem valor padrão deixou 41 de 46 painéis em branco.
Nenhum desses casos mostrou erro na tela. Todos devolveram um número plausível.
Esse é o custo escondido das ferramentas cheias de recursos: cada recurso é mais uma forma de dar a resposta errada com cara de certa.
O que resolveu foi aritmética de padaria. Depois da correção, o alerta mostrou 13,04%, e a conta à mão deu 3 de 23. Bateu exato.
Minha regra hoje: número novo só vale depois de conferido por soma, com uma conta que dá para fazer no papel.
Qual foi a última vez que você conferiu à mão um número que um dashboard te deu?
Top comments (0)