Un agente LLM puede redactar un plan de pruebas muy bueno y aun así dejar un sistema frágil. El problema aparece cuando una misma instrucción se reintenta: crea dos buzones, consume dos códigos de verificación o no puede explicar cuál resultado es el válido. Para un flujo de onboarding, eso convierte un fallo pequeño en una investigación larga.
La solución no es pedirle al modelo que "tenga cuidado". Es darle un contrato de idempotencia alrededor del email de prueba. El agente decide qué quiere comprobar; una capa determinista decide si esa operación ya existe, si puede repetirse y qué evidencia debe devolver.
El problema: un agente que repite efectos
Imaginemos este flujo:
- El agente crea una identidad de prueba.
- Solicita un email de verificación.
- Lee el código recibido.
- Completa el formulario y guarda la evidencia.
Si la respuesta de red se pierde después del paso 1, el agente no sabe si debe crear otra identidad o consultar la anterior. Un segundo intento puede generar datos huérfanos. También puede leer un mensaje viejo y marcar como correcto un escenario que en realidad no se ejecutó.
En términos de arquitectura, hay dos intenciones distintas: ensure_fixture (asegurar que existe un fixture) y consume_verification (avanzar su estado). Mezclarlas en una sola herramienta hace que un reintento tenga efectos inesperados.
La frontera de idempotencia
La frontera debe vivir entre el agente y el proveedor de correo. El agente envía una clave estable, no una instrucción ambigua. Esa clave puede componerse con el identificador del caso, el entorno y la versión del escenario:
idempotency_key = "signup:case-1842:staging:v3"
El servicio conserva la primera respuesta asociada a esa clave durante la vida útil del test. Si llega la misma solicitud, devuelve el mismo fixture o un estado explícito de conflicto. No crea otro buzón solamente porque el modelo volvió a intentar la llamada.
Este es el diagrama en palabras: el agente produce una intención; el adaptador valida la clave; un ledger consulta la operación; y solo después se toca el buzón. La lectura del mensaje pasa por la misma correlación, usando fixture_id y un límite de tiempo. Así el fake email generator queda como una dependencia reemplazable, no como el dueño de la lógica de reintentos.
Para flujos con modelos LLM, esta separación importa todavía más. El modelo puede cambiar de plan entre una llamada y la siguiente, pero el contrato de la herramienta debe permanecer estable. La creatividad pertenece al razonamiento; los efectos secundarios pertenecen al adaptador.
Un contrato pequeño para el fixture
No hace falta empezar con una plataforma grande. Un contrato mínimo puede devolver estos campos:
{
"fixture_id": "fx_1842",
"idempotency_key": "signup:case-1842:staging:v3",
"address": "case-1842@example.test",
"state": "ready",
"expires_at": "2026-11-19T06:00:00Z",
"correlation_id": "corr_7d91"
}
fixture_id identifica el recurso y correlation_id conecta logs, capturas y mensajes. expires_at evita que un reintento de mañana reutilice datos que ya no representan el escenario. El estado debe ser corto y finito: creating, ready, consumed, expired o failed.
Un detalle que suele olvidarse: la respuesta de una operación existente debe indicar que fue reutilizada. Un campo como replayed: true ayuda al agente y a quien depura el pipeline. Sin él, dos ejecuciones parecen diferentes aunque el sistema haya actuado correctamente.
Reintentos, expiración y evidencia
Los reintentos deben tener una política visible. Para un fallo de red, es razonable repetir la misma clave con backoff. Para un invalid_code, no conviene crear otro email: primero hay que registrar que el código no pertenece al fixture_id. Si el proveedor está lento, el adaptador puede devolver pending y dejar que el orquestador decida cuándo consultar de nuevo.
La evidencia también necesita contrato. Guarda el hash del mensaje o un identificador de evento, el instante de recepción y el selector que encontró el código. Evita guardar el cuerpo completo si no es necesario; normalmente basta con una muestra redactada. Es más seguro y hace el diagnóstico más rapido.
Para ordenar operaciones asíncronas, ayuda separar creación y observación. Una guía sobre estado visible para correos asíncronos muestra por qué pending es mejor que ocultar toda espera detrás de un timeout. En CI, además, un run ID estable para el correo de CI facilita relacionar el fixture con el job que lo produjo.
Puntos de comprobación
Antes de conectar un agente, probaría estos casos en orden:
- Repetir
ensure_fixturecon la misma clave y verificar que elfixture_idno cambia. - Repetir la llamada después de un timeout simulado.
- Enviar una clave distinta y confirmar que se crea un recurso separado.
- Leer un código de otro fixture y obtener un error de correlación.
- Expirar el recurso y comprobar que el mensaje de error explica cómo crear uno nuevo.
- Revisar que los logs no contengan el código completo ni datos personales.
También conviene probar el prompt con errores humanos. Un agente podría escribir "tepm mail com" o pedir otra dirección cuando la primera respuesta fue pending. El sistema no debe interpretar esas frases como una nueva autorización. La clave y el estado son la fuente de verdad, no la forma exacta en que el modelo redactó la siguiente acción.
Preguntas rápidas
¿La idempotencia elimina todos los duplicados?
No. Protege las operaciones que comparten una clave bien definida. Si cada reintento genera una clave nueva, el sistema no puede deducir que se trata del mismo intento. Por eso la clave debe venir del caso de prueba y no de un UUID creado dentro del adaptador.
¿Debo dejar que el LLM genere la clave?
Puede proponer sus partes, pero una capa determinista debe validarla y normalizarla. El agente no debería controlar la caducidad, los permisos ni la política de reintentos.
¿Qué hago si necesito aislar cada ejecución?
Incluye el identificador de ejecución en la clave. Aislamiento e idempotencia no son opuestos: case-1842:run-91 evita interferencias dentro de una ejecución, mientras que repetir la misma llamada conserva el mismo resultado.
El patrón final es sencillo: intención explícita, clave estable, estado observable y evidencia mínima. Con esa frontera, los agentes LLM pueden ayudar a explorar escenarios sin convertirse en una fuente adicional de datos duplicados. El diseño es un poco más formal al principio, pero los fallos dejan de ser misterio y pasan a ser estados que se pueden comprobar.
Top comments (1)
Separar
ensure_fixturedeconsume_verificationhace mucho más claro qué se puede repetir sin avanzar el escenario. El camporeplayed: truetambién es un buen detalle: permite entender un reintento correcto sin confundirlo con una nueva ejecución.