O painel mostrava 100% de confiança. A conta usou 9% dos dados

O número que passou despercebido até virar documento final

Uma tela de avaliação, usada para apoiar uma decisão de investimento dentro de um projeto de dez meses e R$ 205 mil, mostrava nota de confiança classificada como alta, pontuação máxima. Quem olhava via um número seguro, do tipo que se cola num relatório e segue em frente sem mais dúvida.
A conta por trás daquele número, quando alguém finalmente abriu a fórmula, tinha sido calculada sobre 9% das perguntas realmente respondidas. Os outros 91% simplesmente não entravam na conta, e nada na tela avisava sobre essa fatia ausente. O sistema não mentiu. Calculou exatamente o que foi programado para calcular. Só não avisou, na tela, sobre o que aquele número representava de fato.
Isso não é um problema de má-fé nem de ferramenta ruim. Um número pode estar matematicamente certo e ainda assim não significar quase nada, porque a pergunta que faltou fazer não foi "o número subiu", foi "subiu sobre o quê".

Três armadilhas que aparecem sem avisar

A conta sem denominador declarado. Um relatório de projeto dizia que "clientes de 17 estados não conseguiam comprar". A conta não fechava: o site cobria frete para 3 dos 27 estados brasileiros, o que deixava 24 sem cobertura, não 17. Ninguém tinha mentido. Ninguém tinha feito a segunda conta, a que confere se o número bate com o total do qual ele deveria fazer parte. A mesma armadilha aparece em formato mais comum: "cresceu 40% em relação ao mês passado" sem dizer que o mês passado teve 5 contatos e este mês teve 7. Quarenta por cento sobre uma base de 5 é dois contatos a mais, real, mas soa muito maior vestido de percentual do que vestido de unidade absoluta.
A amostra pequena tratada como grande. Quinze produtos publicados de uma vez, num nicho escolhido por intuição, todos ativos, sem erro técnico. Depois de alguns dias, visitas praticamente nulas. A primeira leitura foi de que a execução tinha falhado. Não tinha. O histórico daquele nicho mostrava que, em 360 dias, 29 produtos novos tinham entrado ali, e apenas 2 deram certo, e o preço médio praticado ficava um terço abaixo do que as quinze peças novas cobravam. Quinze tentativas sem sinal de visita não provam que o nicho é ruim para sempre. Provam, no máximo, que aquelas quinze tentativas específicas não decolaram.
A comparação sem linha de base capturada. Uma varredura de mais de 11 mil nichos de produto encontrou vários recortes com queda de 70% a 85% em relação ao pico, parecendo estar morrendo. Só quando alguém reconstruiu a série de dois anos completos, em vez de comparar só o pico contra o vale mais recente, ficou claro que a queda era sazonalidade: todo nicho daquele tipo tinha um pico no fim do ano e um vale no meio, ano após ano.

O exemplo que mostra o custo de ignorar as três

Um material de apoio, usado para gerar peças de anúncio de um catálogo inteiro, parecia pronto: cada arquivo preenchido, revisado, com aparência competente. Auditado contra um padrão escrito, o resultado foi 17,3% de conformidade no critério mais básico, calculado sobre 57 arquivos e 475 itens. Em cinco desses 57 arquivos, o conferente não reconheceu um único item válido.
O material reescrito item por item, medido de novo semanas depois, passou para 53 de 59 arquivos aprovados em todos os critérios, quase 90%. A base de itens tinha mudado de 475 para 590 entre as duas medições, porque o processo cresceu no meio do caminho, e essa mudança de denominador precisa ser dita junto com o número. Comparar 17,3% de 475 contra 89,8% de 59 arquivos sem avisar que a base mudou seria exatamente o mesmo erro dos 17 estados que na verdade eram 24.

O que fazer antes de acreditar num número bonito

A pergunta que resolve a maior parte dos problemas de medição não é "esse número é bom", é "esse número aguenta as perguntas abaixo":

• Esse número tem denominador declarado, ou é só o numerador sozinho, bonito?- Quantos casos formam essa amostra? Quinze não é sessenta, e dois não é vinte.- Existe uma leitura anterior, capturada do mesmo jeito, para comparar de verdade?- A mudança podia ser época do ano, ou volta natural de um mês ruim, e não a ação que você tomou?- Alguém de fora conferiu esse número, ou só quem queria que desse certo olhou? Nenhum item pergunta se o número é bom ou ruim. Pergunta o que sustenta esse número, e é essa segunda pergunta, feita antes de comemorar ou de entrar em pânico com a primeira leitura, que separa quem mede direito de quem só olha o painel subir e desce sem nunca saber por quê. ## Conclusão A métrica que sobe sem o caixa sentir nada não é, na maioria das vezes, uma métrica mentirosa. É uma métrica sem denominador, sem amostra suficiente ou sem linha de base, e nenhuma dessas faltas aparece escrita na tela onde o número é mostrado. Cabe a quem olha perguntar. --- Este artigo é uma versão condensada de uma análise mais profunda, com mais duas armadilhas, o glossário completo e as oito referências citadas, que publiquei em https://chipak.com.br/artigos/metrica-que-sobe-caixa-nao-sente