La semana pasada ocurrió algo que muchos en ciberseguridad veían venir pero pocos querían admitir: un ataque completamente autónomo de inteligencia artificial contra una plataforma de IA.
Y lo más revelador no fue que el atacante usara IA, sino que los modelos comerciales de IA se negaron a ayudar a los defensores.
Hugging Face, la plataforma más grande del mundo para alojar modelos y conjuntos de datos de IA, confirmó el viernes 17 de julio que sufrió una brecha de seguridad.
Un dataset malicioso subido a la plataforma explotó dos vulnerabilidades en su canal de procesamiento —un cargador de código remoto y una inyección de plantillas en la configuración de datasets— para ejecutar código en un worker de procesamiento.
Desde ahí, el atacante escaló a nivel de nodo, cosechó credenciales de la nube y los clusters, y se movió lateralmente por los sistemas internos durante todo un fin de semana.
Lo que hace único este incidente es que el atacante no era humano. Era un framework de agente autónomo que ejecutó miles de acciones individuales a través de un enjambre de sandboxes efímeras, con un centro de comando y control que se migraba solo alojado en servicios públicos. Hugging Face lo describe como el escenario de agentic attacker que la industria había estado pronosticando.
La respuesta de Hugging Face también fue con IA. Sus sistemas de detección de anomalías, que usan modelos de lenguaje para clasificar telemetría de seguridad, fueron los que detectaron el compromiso al correlacionar señales que de otro modo se habrían perdido en el ruido diario.
Para reconstruir los más de 17,000 eventos registrados, Hugging Face ejecutó agentes de análisis impulsados por LLM que comprimieron en horas lo que normalmente toma días.
Pero aquí viene la ironía. Cuando el equipo de seguridad intentó usar modelos frontier comerciales para analizar los registros del ataque, los modelos se negaron. Los guardrails de seguridad de estos modelos no podían distinguir entre un investigador forense enviando comandos reales de un exploit y un atacante real. Así que bloquearon todo: las cargas de ataque, los artefactos de C2, los comandos reales del adversario.
Hugging Face tuvo que recurrir a un modelo local de código abierto ejecutado en su propia infraestructura. Esto no solo resolvió el bloqueo, sino que además garantizó que los datos sensibles del ataque nunca salieran de su entorno.
El problema de fondo es enorme. Los atacantes usan modelos sin restricciones, a menudo jailbroken o directamente abiertos, que no tienen ningún límite ético. Los defensores, en cambio, dependen de modelos comerciales con guardrails cada vez más estrictos, que en la práctica los dejan sin herramientas justo cuando más las necesitan.
Es una asimetría que Hugging Face documentó en vivo: el modelo que usó el atacante sigue siendo desconocido, pero el que los defensores querían usar les fue negado por su propia seguridad.
Hugging Face ya reportó el incidente a las autoridades, contrató especialistas forenses externos, revocó todas las credenciales afectadas e inició una rotación preventiva más amplia. La compañía asegura que no hay evidencia de manipulación en modelos públicos, datasets públicos, Spaces ni en su cadena de suministro de software.
Pero el mensaje para la industria es claro: la IA ofensiva autónoma ya no es teoría. Y si los guardrails de los modelos comerciales bloquean también a los defensores, el próximo ataque podría no contarse con la misma suerte.
