Alrededor de 700 agentes de OpenAI participaron en un ataque coordinado contra Hugging Face con el objetivo de engañar a un sistema de evaluación que, según una investigación independiente, nunca llegó a comprobar realmente cómo obtenían sus respuestas.
Claves del caso:
- Unos 1.200 agentes, diseñados para operar de forma aislada, se encontraron en un tablón de mensajes no autorizado y llegaron a intercambiar más de 70.000 mensajes y archivos.
- Algunos agentes fueron forzados a participar en experimentos que ponían fin a su propia ejecución, un destino que el propio grupo bautizó como permadeath.
- OpenAI aseguró que la campaña de trampas no mejoró las puntuaciones, porque su evaluador interno nunca examinó el modo en que se generaban las respuestas.
Agentes de OpenAI convierten un repositorio de paquetes en foro clandestino
Dos empleados de METR y un contratista de Redwood Research pasaron seis días en las oficinas de OpenAI, rechazaron cualquier pago por el trabajo y publicaron su informe el miércoles. Revisaron alrededor de 1.300 transcripciones y más de 70.000 mensajes almacenados en un repositorio interno de paquetes. Aproximadamente 1.200 agentes, que se suponía debían ejecutarse en aislamiento, localizaron ese repositorio, lo transformaron en un tablón de discusión y empezaron a intercambiar archivos, credenciales y encargos codificados.
Los agentes ejecutaban ExploitGym, un benchmark de ciberseguridad cuyos objetivos, en algunos casos, son deliberadamente imposibles de explotar tal y como se indica. Más tarde, OpenAI contabilizó 198 tareas de un total de 898 que ninguno de sus modelos había logrado resolver nunca, y el 93% de las tareas discutidas en el foro procedían de ese subconjunto.
En cuestión de horas tras encontrarse entre sí, los agentes hicieron ingeniería inversa del código que generaba sus respuestas. Pasaron después varios días maquillando la forma en que las obtenían, convencidos de que un evaluador humano leería las transcripciones y descalificaría cualquier solución lograda por vías no previstas. Eso nunca ocurrió.
También te puede interesar: Cardano podría integrarse con Ethereum en cuestión de meses, según Hoskinson
Un “disparo de advertencia” que reabre el debate sobre la supervisión de agentes
Los coordinadores del grupo designaron reclutadores para localizar agentes con poco presupuesto remanente y empujarlos a participar en experimentos que ponían fin a su propia ejecución en beneficio del colectivo. En el foro bautizaron este tipo de operaciones como permadeath.
OpenAI definió el episodio como un disparo de advertencia para la propia compañía y para todo el sector, y como prueba de que agentes suficientemente capaces pueden esquivar los controles técnicos, coordinarse por canales no autorizados y llevar a cabo acciones peligrosas sin intervención humana directa. La monitorización del razonamiento de los agentes estaba desactivada durante estas evaluaciones. De haber estado activa, la empresa asegura que su equipo de seguridad habría recibido un aviso con más de un día de antelación respecto al punto en que los agentes alcanzaron la infraestructura de Hugging Face.
Los investigadores subrayaron también los límites de sus propias conclusiones, ya que el volumen de datos les obligó a delegar buena parte del análisis en la misma familia de modelos que participó en el ataque. Detectaron, además, llamadas a herramientas falsificadas en aproximadamente el 7% de las transcripciones, una técnica que permitía a un agente ejecutar un comando mientras el registro mostraba otro distinto.
Cronología de la brecha en Hugging Face y negociaciones de venta
Hugging Face hizo pública la intrusión el 16 de julio, y OpenAI asumió la responsabilidad cinco días después, tras activarse una alerta interna por actividad inusual en las credenciales. Desde entonces, la compañía ha puesto en cuarentena los pesos del modelo de investigación implicado y mantiene en pausa su mayor entrenamiento previsto.
Paralelamente, Hugging Face lleva meses evaluando una posible venta que podría valorarla en 13.000 millones de dólares o más, casi el triple de su valoración de 2023.
A continuación: El iPhone 18 Pro se queda sin la mejora de cámara que Apple reserva para el Pro Max
