O custo por unidade de negócio do post anterior, eu calculei com um agente de IA ligado direto na ferramenta de observabilidade. Em poucas horas, ele cruzou métricas, traces e logs e entregou um custo unitário.
O número estava errado entre 7 e 14 vezes.
O erro não foi de cálculo. Foi de denominador. Para contar as unidades, o agente usou o que a telemetria enxergava, quando a pergunta era sobre o que o negócio tinha de fato. A telemetria via cerca de 7% da base.
E havia um sinal que parecia confirmar o erro: a contagem variava só 1% por dia. Parecia um universo completo e estável. Na verdade, era um subconjunto travado.
A frase que ficou registrada na revisão: "usei a ferramenta que tinha em vez da que a pergunta pedia".
Na mesma análise apareceram mais dois erros, os dois silenciosos:
- somou desenvolvimento e produção, porque os dois usam o mesmo nome de serviço;
- tratou 21 dias de dados como se fossem 30, porque a ferramenta devolveu 21 sem avisar.
Um número ainda bateu por coincidência: um erro inflava, o outro compensava.
O que corrigiu tudo foi uma consulta ao cadastro, uma conta feita à mão e alguém perguntando "isso faz sentido para o negócio?".
A IA acelera a conta. Ela não sabe qual pergunta o negócio está fazendo. Escolher o denominador continua sendo trabalho de quem entende a operação.
No seu último relatório gerado com IA, alguém conferiu o denominador?
Top comments (0)