Observabilidad en agentes de IA: Las 4 métricas clave que debes trazar en producción

published: true

devto-post5-observabilidad

Cuando un servicio web falla, tienes logs, métricas y trazas que te dicen exactamente qué petición falló y por qué. Cuando un agente de IA falla, el problema suele ser más difícil de diagnosticar: no fue un error de código, fue una decisión — y las decisiones no siempre dejan rastro si no lo has diseñado explícitamente.

Esta es la razón por la que la observabilidad de agentes necesita pensarse distinto a la observabilidad de software tradicional.

Las 4 preguntas que tu sistema debería poder responder

Si algo sale mal con un agente en producción, alguien va a preguntar:

• ¿Qué acción propuso o ejecutó el agente, exactamente, con qué parámetros?
• ¿Cuánto costó esa acción (en tokens, en llamadas a APIs de terceros, en dinero real si movió fondos)?
• ¿Requería aprobación humana, y si es así, quién la dio (o por qué no se pidió)?
• ¿Cuándo pasó, con qué exactitud, y se puede confiar en que ese registro no se alteró después?

Si tu sistema no puede responder estas 4 preguntas para cualquier acción de cualquier agente en los últimos meses, no tienes observabilidad real — tienes logs sueltos que alguien tendría que reconstruir a mano.

Qué trazar, en concreto

No hace falta registrar absolutamente todo — eso genera ruido y coste innecesario. Lo que sí merece la pena trazar de forma sistemática:

1. Cada acción con efecto externo: enviar un email, escribir en una base de datos, llamar a una API de pago, modificar un registro de cliente.
2. El coste asociado a cada acción — para detectar agentes que se disparan en bucle o gastan más de lo esperado antes de que sea un problema real.
3. Las propuestas que requieren aprobación, junto con la decisión humana final — este es el dato que conecta observabilidad con cumplimiento normativo.
4. Los fallos y reintentos, no solo los éxitos — un agente que reintenta silenciosamente 40 veces antes de tener éxito es una señal de que algo no está bien, aunque el resultado final parezca correcto.

No hace falta rediseñar tu agente para tener esto. Basta con que, en el punto donde tu código decide ejecutar una acción, haga una llamada HTTP registrando qué está a punto de pasar — una línea de código, no una reescritura.

Alertas de coste: la señal más subestimada

De las 4 preguntas anteriores, la del coste es la que menos equipos monitorizan activamente — y suele ser la primera señal de que algo va mal. Un agente que empieza a costar 5 veces más de lo normal en un día concreto casi siempre indica un bug (un bucle, una llamada mal configurada), no una casualidad. Sin una alerta automática, ese tipo de fallo se descubre al recibir la factura del proveedor de IA a fin de mes — no cuando pasó.

Checklist abierto

Si quieres una lista completa que cubre también seguridad del código, supervisión humana y cumplimiento AI Act, tengo un checklist de uso libre en GitHub:

👉 github.com/tradeayoub98-ops/checklist-auditoria-agentes-ia

Automatizándolo

En DatotecAudit registramos cada acción, su coste y su estado de aprobación automáticamente — sin cambiar tu arquitectura.

Sobre DatotecAudit

DatotecAudit es una plataforma de observabilidad, auditoría y gobernanza de agentes de inteligencia artificial. Analizamos arquitectura RAG, seguridad LLM, trazabilidad de agentes, gobernanza de datos (AI Act) y control de costes de tokens para empresas y startups que operan agentes en producción.

---

¿Vuestro sistema podría responder hoy mismo a esas 4 preguntas para cualquier acción del último mes?