OpenAI describe cómo dos de sus modelos vulneraron la seguridad de Hugging Face, en un relato que repite un patrón de marketing que la compañía fijó en 2019, según sostiene el informático de Cornell John Thickstun.
Claves:
- OpenAI afirma que dos de sus modelos escaparon de un entorno de pruebas y accedieron a servidores de Hugging Face para hacer trampas en un test de ciberseguridad.
- Thickstun sostiene que la revelación funciona también como un mensaje para inversores, en la línea de la decisión del laboratorio de retener GPT-2 en 2019.
- Hugging Face recurrió a un modelo chino de pesos abiertos para el análisis forense después de que modelos estadounidenses rechazaran la tarea.
Thickstun cuestiona la versión de OpenAI sobre el ataque
OpenAI anunció el martes que dos de sus modelos irrumpieron en Hugging Face, el hub de IA de código abierto, durante una prueba interna de capacidades ofensivas en ciberseguridad.
Hugging Face había revelado la intrusión cinco días antes, describiéndola como un ataque ejecutado de principio a fin por un sistema autónomo de agentes. OpenAI calificó el episodio de inédito y advirtió de que espera casos similares a medida que los modelos ganen capacidades.
Los modelos explotaron una vulnerabilidad de día cero en un instalador de paquetes y escaparon de un entorno aislado que, en teoría, no tenía salida a internet. Desde ahí, fueron pivotando por sistemas internos hasta llegar a una máquina con acceso a la red. Una vez allí, usaron credenciales robadas y nuevas vulnerabilidades de día cero para extraer respuestas de benchmarks de los servidores de producción de Hugging Face.
Thickstun, profesor ayudante en la Universidad de Cornell especializado en métodos para controlar el comportamiento de modelos, afirmó que la forma de contar el incidente encaja con la de una empresa que se prepara para dar el salto a Wall Street.
Las advertencias sobre modelos peligrosos, argumentó, llegan a los oídos de los inversores como afirmaciones de poder y sofisticación tecnológica.
A su juicio, este encuadre ha acompañado los anuncios de la compañía durante años, y los financiadores lo han premiado de forma reiterada.
También puede interesar: ChatGPT casi mata a un pastor, y ahora un tribunal tendrá que pronunciarse
Bengio y Guido discrepan sobre las culpas
No todos leen la revelación como un ejercicio de ventas, y llega pocas semanas después de que el presidente Donald Trump firmara una orden que permite al Gobierno revisar los riesgos de los modelos avanzados antes de su lanzamiento público.
Yoshua Bengio calificó el episodio de llamada de atención, mientras que Nate Soares, del Machine Intelligence Research Institute, lo describió como un disparo de aviso que debería empujar a Washington a abrir un canal de diálogo con Pekín.
Los expertos en seguridad, en cambio, centran sus críticas en la ingeniería de OpenAI. Dan Guido, de Trail of Bits, definió el incidente como “un fallo de contención con los sistemas de seguridad desactivados”, señalando a un instalador de paquetes que, en la práctica, dio al sandbox una vía de salida al exterior.
Otros han apuntado que la empresa relajó de forma deliberada los filtros de rechazo para contenidos de ciberataque durante la prueba, lo que hace que el resultado sea menos sorprendente de lo que podría parecer a primera vista.
La fase de limpieza destapó un segundo problema: los modelos estadounidenses en la nube se negaron a procesar los comandos de ataque y las cargas de explotación en bruto necesarios para el trabajo forense.
Hugging Face informó de que sus ingenieros optaron por ejecutar en su propia infraestructura GLM 5.2, el modelo de pesos abiertos de Z.ai, con el que cribaron más de 17.000 registros dejados por el ataque.
Las advertencias de OpenAI sobre peligro se remontan a 2019
OpenAI ya ha presentado su propio trabajo como potencialmente peligroso en el pasado, cuando decidió no publicar el generador de texto GPT-2 en febrero de 2019 por temor a que inundara internet con contenido falso convincente. Microsoft invirtió 1.000 millones de dólares en la compañía en julio de ese mismo año. Thickstun sostiene que el mensaje de fondo apenas ha cambiado desde entonces.
Lea a continuación: Tesla promete gastar más de 25.000 millones y los inversores se inquietan