DEV Community

Luiz Pires
Luiz Pires

Posted on

Telemetria de Tokens em Tempo Real: Controlando custos de LLMs em produção com SSE, Redis e modelo BYOK

A adoção de agentes de inteligência artificial em times de desenvolvimento trouxe consigo uma nova categoria de incidente de infraestrutura: o Runaway Agent (Agente Desgovernado). Trata-se do fenômeno em que um agente autônomo entra em um loop infinito de correção de código, consumindo milhões de tokens e gerando faturas astronômicas de API antes que qualquer ser humano perceba.

Neste artigo, detalhamos a arquitetura de telemetria em tempo real construída no CodeOps AI, combinando NestJS, Redis Pub/Sub e Server-Sent Events (SSE), além de explicar a tese econômica e de segurança por trás da nossa abordagem BYOK (Bring Your Own Key).

1. O Problema Econômico: Loops Ocultos e a Conta Surpresa

Diferente do consumo de CPU ou memória em servidores convencionais, o custo de modelos de linguagem de fronteira (como Claude 3.5 Sonnet, GPT-4o ou Gemini 1.5 Pro) escala linearmente com cada requisição de contexto.

Um agente configurado para "tentar novamente até que o teste passe" pode gerar:

  • 50 a 80 iterações em menos de 10 minutos.
  • Injeção repetida de milhares de linhas de contexto a cada turno.
  • Custos individuais de sessão que ultrapassam centenas de dólares em um único comando mal calibrado.

Para empresas com dezenas de desenvolvedores usando ferramentas autônomas diariamente, a ausência de um mecanismo de circuit breaker financeiro e observabilidade de tokens é uma vulnerabilidade inaceitável.


2. A Arquitetura de Telemetria em Tempo Real

Para resolver esse problema sem introduzir lentidão no fluxo do desenvolvedor, desenhamos uma esteira de telemetria baseada em eventos reativos:

flowchart LR
    A["Agente / CLI aops<br/>(Local)"] -->|"Heartbeat + Tokens<br/>(HTTP POST)"| B["API NestJS<br/>(Control Plane)"]
    B -->|"Event Publish"| C["Redis Pub/Sub<br/>(Canal da Organização)"]
    C -->|"SSE Stream<br/>(Server-Sent Events)"| D["Dashboard Web<br/>(Live Operations / FinOps)"]
    B -->|"Persistência Agregada"| E["PostgreSQL<br/>(Histórico de Faturamento)"]

1. Ingestão e Heartbeats na CLI (aops)

Durante a execução de qualquer comando ou sessão, a CLI aops coleta snapshots acumulados de consumo de tokens retornados pelo provedor (ou estimativas calibradas com base no tamanho das mensagens):

# Snapshot enviado automaticamente no heartbeat da sessão:
$ aops session heartbeat --status "Refatorando módulo de pagamento" \
    --token-usage '{"inputTokens": 144184, "outputTokens": 13780, "model": "gemini-1.5-pro"}'
Enter fullscreen mode Exit fullscreen mode

2. Mensageria Distribuída com Redis Pub/Sub

A API NestJS recebe o payload no OperationalStreamController. Em vez de sobrecarregar o banco relacional a cada pulso de batimento, ela publica o evento diretamente em um canal Redis escopado para a organização do cliente (org:{orgId}:telemetry).

3. Server-Sent Events (SSE) no Dashboard Next.js

O painel de Live Operations e a página de AI Cost no Dashboard consomem o stream SSE. Isso permite que gestores visualizem os medidores de consumo atualizarem em tempo real, como um velocímetro em funcionamento, sem necessidade de polling HTTP contínuo.


3. A Tese Estratégica do BYOK (Bring Your Own Key)

Muitas ferramentas SaaS de IA optam por revender acesso a modelos, cobrando uma assinatura fixa e subsidiando o uso de tokens. Essa abordagem cria dois problemas estruturais:

  1. Margem Negativa para o SaaS: Usuários pesados geram prejuízo para a plataforma, forçando a imposição de limites arbitrários e frustrantes.
  2. Risco de Segurança e Privacidade para o Cliente: Todo o tráfego de código passa pelos servidores do intermediário antes de chegar à OpenAI ou à Anthropic.

No CodeOps AI, adotamos o modelo BYOK:

+-------------------------------------------------------------+
|                      Sua Infraestrutura                     |
|                                                             |
|  [Dev Terminal] --------> [OpenAI / Anthropic / Gemini]     |
|         |                     (Chaves Próprias do Cliente)  |
|         v                                                   |
|   (Metadados & Tokens)                                      |
|         |                                                   |
|         v                                                   |
|  [CodeOps AI Control Plane] -> Dashboard de Gestão FinOps   |
+-------------------------------------------------------------+
Enter fullscreen mode Exit fullscreen mode

Vantagens do Modelo BYOK:

  • Privacidade Absoluta: O código-fonte trafega diretamente entre a máquina do desenvolvedor e o provedor corporativo contratado pela empresa. O CodeOps AI recebe exclusivamente metadados e contadores de tokens.
  • Transparência de Custos Diretos: A empresa aproveita seus descontos de volume contratados diretamente com a Google Cloud, AWS Bedrock ou Azure OpenAI.
  • Previsibilidade Financeira: O CodeOps AI cobra pelo valor da governança e da plataforma, não pelo markup inflacionado de tokens.

4. O Painel de AI Cost Tracker

Com a telemetria unificada, o líder técnico e o diretor financeiro têm respostas instantâneas para perguntas complexas:

  • Qual squad consumiu mais tokens nesta sprint?
  • O aumento de custo se traduziu em entregas com testes aprovados ou em loops de erro?
  • Qual modelo (Claude 3.5 Sonnet vs. GPT-4o vs. Gemini 1.5 Flash) está entregando a melhor relação custo-benefício por tipo de tarefa?

Se uma sessão ultrapassar o limite pré-estabelecido de segurança, a CLI aciona um circuit breaker e interrompe o agente, exigindo intervenção humana para continuar.


Conclusão: Eficiência com Controle

A inteligência artificial não precisa ser uma incógnita no balanço financeiro da engenharia. Com telemetria em tempo real, mensageria reativa e o modelo BYOK, sua empresa ganha a tração da IA com o controle financeiro de uma operação madura.

Assuma o controle dos custos de IA da sua organização:

Top comments (0)