published: true
devto-post4-supervision-humana
Si tu empresa usa o construye agentes de inteligencia artificial que toman decisiones con impacto real — enviar comunicaciones, mover dinero, aprobar o rechazar solicitudes — el Reglamento (UE) 2024/1689, conocido como AI Act, probablemente ya te afecta. Y el requisito que más confusión genera, con diferencia, es el de supervisión humana.
No es un checkbox legal abstracto. Es un requisito técnico con consecuencias muy concretas si no puedes demostrarlo cuando toque.
¿Qué dice exactamente el Reglamento?
El AI Act exige que los sistemas de IA de alto riesgo estén diseñados para que una persona pueda supervisar su funcionamiento, entender sus resultados, y — esto es lo importante — intervenir o detener el sistema cuando sea necesario. No basta con que un humano "pueda en teoría" revisar lo que hace el sistema; tiene que haber un mecanismo real, documentado y auditable.
En la práctica, esto se traduce en tres capacidades que el regulador espera poder verificar:
- Visibilidad: qué decisiones tomó el sistema, cuándo, y con qué datos.
- Capacidad de veto: un humano puede aprobar o rechazar una acción antes de que se ejecute, cuando el riesgo lo justifique.
- Trazabilidad histórica: un registro que no se pueda alterar a posteriori, que sirva como evidencia real ante una auditoría.
El error más común
Muchos equipos interpretan "supervisión humana" como "un ingeniero revisa los logs de vez en cuando". Eso no es supervisión humana en el sentido del Reglamento — es observabilidad pasiva. La diferencia está en si existe un punto de control activo donde una persona aprueba o bloquea la acción antes de que ocurra, no después.
¿Qué pasa si no puedes demostrarlo?
Las sanciones del AI Act para sistemas de alto riesgo pueden llegar hasta 15 millones de euros o el 3% de la facturación global de la empresa, lo que sea mayor. Pero en la práctica, el problema suele llegar antes de eso: un cliente enterprise, un inversor, o un auditor de cumplimiento pide ver la evidencia de supervisión humana, y la empresa se da cuenta de que no la tiene — solo tiene buenas intenciones y algún log disperso.
Cómo se ve esto en un sistema real
Un flujo de supervisión humana que de verdad cumple tiene esta forma:
- El agente de IA propone una acción con impacto (enviar un email a un cliente, ejecutar un pago, modificar un registro).
- Esa propuesta queda registrada con timestamp y contexto, antes de ejecutarse.
- Un humano la aprueba o la rechaza desde un panel — no desde un canal de Slack que nadie audita después.
- La decisión (y quién la tomó) queda en un registro con hash de integridad, que no se puede editar ni borrar retroactivamente.
Esto es exactamente el flujo Human-in-the-Loop — no como una feature añadida, sino como el núcleo del producto, porque es literalmente lo que el Reglamento pide poder demostrar.
Checklist abierto
Si quieres una lista completa que cubre también seguridad del código, trazabilidad y control de costes, tengo un checklist de uso libre en GitHub:
👉 github.com/tradeayoub98-ops/checklist-auditoria-agentes-ia
Automatizándolo
En DatotecAudit registramos cada aprobación, cada rechazo y cada traza con hash de integridad — listo para enseñárselo a un auditor sin montar nada a mano.
Sobre DatotecAudit
DatotecAudit es una plataforma de observabilidad, auditoría y gobernanza de agentes de inteligencia artificial. Analizamos arquitectura RAG, seguridad LLM, trazabilidad de agentes, gobernanza de datos (AI Act) y control de costes de tokens para empresas y startups que operan agentes en producción.
¿Tenéis ya un punto de control real donde un humano apruebe acciones antes de que se ejecuten, o todavía es revisión posterior?
Top comments (0)