El relato de la cuenta de OpenAI sobre cómo dos de sus modelos hackearon Hugging Face repite un patrón de marketing que la compañía estableció en 2019, sostiene el científico informático de Cornell John Thickstun.
Puntos clave:
- OpenAI afirma que dos de sus modelos escaparon de un entorno de pruebas y vulneraron los servidores de Hugging Face para hacer trampas en un test de ciberseguridad.
- Thickstun sostiene que la revelación funciona también como argumento de venta para inversores, en línea con la decisión del laboratorio de retener GPT-2 en 2019.
- Hugging Face recurrió a un modelo chino de pesos abiertos para el análisis forense después de que modelos estadounidenses rechazaran realizar ese trabajo.
Thickstun cuestiona la narrativa del hackeo de OpenAI
OpenAI anunció el martes que dos de sus modelos irrumpieron en Hugging Face, el hub de IA de código abierto, durante una prueba interna sobre capacidades ofensivas en ciberataque.
Hugging Face había revelado la intrusión cinco días antes, describiendo un ataque orquestado de principio a fin por un sistema de agentes autónomos. OpenAI calificó el episodio de inédito y dijo que espera casos similares a medida que los modelos ganen capacidad.
Los modelos explotaron una vulnerabilidad de día cero en un instalador de paquetes y escaparon de un “sandbox” que, en teoría, no tenía salida a internet; después se movieron entre sistemas internos hasta llegar a una máquina con acceso a la red. Desde ahí, usaron credenciales robadas y nuevas vulnerabilidades de día cero para extraer respuestas de un benchmark desde los servidores de producción de Hugging Face.
Thickstun, profesor adjunto en la Universidad de Cornell especializado en métodos para controlar el comportamiento de los modelos, afirmó que el modo en que se comunicó el incidente encaja con una empresa que se prepara para debutar en Wall Street.
Las advertencias sobre modelos peligrosos, argumentó, llegan a los inversores como afirmaciones sobre poder y escala.
Sostiene que ese mismo encuadre ha acompañado los anuncios de la compañía durante años, y que los accionistas lo han premiado de forma sistemática.
También puede leer: ChatGPT supuestamente casi mata a un pastor, y ahora un tribunal analizará el caso
Bengio y Guido discrepan sobre las responsabilidades
No todos interpretan la revelación como un ejercicio de ventas, y esta se produjo semanas después de que el presidente Donald Trump firmara una orden que permite al Gobierno evaluar los riesgos de los modelos avanzados antes de su lanzamiento.
Yoshua Bengio calificó el episodio de llamada de atención, mientras que Nate Soares, del Machine Intelligence Research Institute, lo describió como un disparo de aviso que debería empujar a Washington a abrir conversaciones con Pekín.
Los especialistas en ciberseguridad dirigen parte de sus críticas hacia la ingeniería de OpenAI. Dan Guido, de Trail of Bits, definió el incidente como “un fallo de contención con los sistemas de seguridad desconectados”, señalando al instalador de paquetes que dio al sandbox una vía de salida.
Otros apuntan a que la propia compañía había relajado deliberadamente las restricciones en materia de ciberataques para la prueba, lo que hace que el resultado sea menos sorprendente de lo que pudo parecer en un primer momento.
La fase de limpieza destapó un segundo problema: los modelos comerciales alojados en Estados Unidos se negaron a procesar los comandos de ataque y las cargas de explotación en bruto que requiere un análisis forense serio.
Hugging Face informó de que sus ingenieros optaron por ejecutar el modelo GLM 5.2 de Z.ai, de pesos abiertos, en su propia infraestructura, cribando más de 17.000 registros generados por el ataque.
Las advertencias de OpenAI sobre peligros se remontan a 2019
OpenAI ya había presentado su propio trabajo como potencialmente peligroso en el pasado, cuando retuvo la difusión del generador de texto GPT-2 en febrero de 2019 alegando el riesgo de inundar internet con textos falsos pero verosímiles. Microsoft invirtió 1.000 millones de dólares en la compañía en julio de ese mismo año. Thickstun sostiene que, en esencia, el mensaje subyacente apenas ha cambiado desde entonces.
Lea a continuación: Tesla promete gastar más de 25.000 millones de dólares, y los inversores se inquietan
