La cadena de suministro de modelos de IA representa un vector de ataque emergente y crítico. Los modelos open-weight fine-tuneados pueden contener puertas traseras (backdoors) latentes que solo se activan ante triggers específicos, siendo indetectables mediante inspección superficial.
Presentamos WeightWatch (github.com/amurlaniakea/weightwatch), una herramienta de auditoría de seguridad diseñada para escanear modelos de lenguaje antes de su despliegue.
Características técnicas principales:
Análisis Black-Box: No requiere acceso a los datos de entrenamiento originales ni a un modelo base de referencia limpio.
Detección Híbrida: Combina la técnica output-to-input loop (para forzar la convergencia de firmas anómalas) con inyección de muestras canary.
Determinismo y Reproducibilidad: Ejecución con semilla fija, garantizando el mismo veredicto y hash sha256 para un modelo dado.
Integración CI/CD Nativa: Salida estructurada en JSON y códigos de salida (exit codes) para automatizar el bloqueo de modelos con veredicto SUSPICIOUS o BACKDOOR en pipelines de MLOps.
Estado actual: El MVP valida su lógica mediante fixtures sintéticos embebidos, sin dependencias de red. La validación a escala con modelos reales de Hugging Face está programada para la v0.2.
Invitamos a la comunidad de seguridad en IA, ingenieros de MLOps e investigadores a revisar el código, contribuir con heurísticas de detección y probar su integración en entornos de staging. La seguridad de la IA debe ser automatizable, transparente y de código abierto.
🔗 Repositorio: github.com/amurlaniakea/weightwatch
Top comments (0)