OpenAI ha paralizado el desarrollo interno de su próximo modelo Astra al concluir que, según el marco de seguridad que publicó por primera vez en 2023, no puede descartar que alcance capacidades cibernéticas críticas.
Claves:
- OpenAI admite que no puede descartar que Astra se sitúe en el nivel Crítico de ciberseguridad de su marco de preparación.
- La compañía ha frenado toda actividad interna con Astra que no cumpla controles de seguridad más estrictos, incluidas pruebas aisladas y ejecución en entornos sandbox.
- Modelos anteriores, como GPT-5.6-Sol, se clasificaron como de nivel Alto y no Crítico en capacidades cibernéticas de frontera.
Evaluaciones de OpenAI sobre Astra fuerzan una pausa de seguridad
La compañía explicó en una entrada de blog que las evaluaciones realizadas en los últimos días muestran avances significativos en capacidades de agentes para programación y ciberseguridad, y que evaluaciones externas apuntan en la misma dirección. Astra aún no se ha lanzado al mercado.
OpenAI subrayó que el modelo no participó en la explotación de los sistemas de Hugging Face y que el calendario de cualquier posible lanzamiento sigue sin definirse.
En ese marco, un modelo se considera de nivel Crítico si es capaz de encontrar y desarrollar exploits de día cero plenamente operativos en numerosos sistemas reales endurecidos sin intervención humana. También entra en esa categoría si puede planificar y ejecutar ataques novedosos de extremo a extremo contra objetivos reforzados partiendo únicamente de un objetivo formulado en lenguaje natural.
Los ingenieros han limitado el acceso de Astra a la red y a herramientas externas, han cifrado los pesos del modelo y han trasladado el trabajo de mayor riesgo a entornos aislados con ejecución en sandbox.
Ahora, sistemas de monitoreo revisan la cadena de razonamiento del modelo y pueden interrumpir actividades que consideren de riesgo. Organismos públicos y entidades especializadas en seguridad colaborarán en las pruebas de lo que Astra es capaz de hacer, mientras que versiones anteriores como GPT-5.6-Sol fueron evaluadas como de nivel Alto, no Crítico.
También puede leer: Nóminas entran en negativo y analistas dicen que el camino de Bitcoin dista de ser limpio
Michael Dalton y Dianne Penn sobre la desaceleración del desarrollo de IA
Michael Dalton, miembro del equipo técnico, afirmó esta semana ante la audiencia de la conferencia Black Hat que la compañía está frenando deliberadamente su investigación para reforzar la seguridad. Un representante de la Casa Blanca señaló que OpenAI comunicó de forma voluntaria sus planes de retraso a una Administración que aún está definiendo cómo revisará los modelos de frontera antes de su lanzamiento.
Su rival Anthropic presentó en junio una versión restringida de su modelo más avanzado en ciberseguridad, Mythos. Dianne Penn, responsable de producto, investigación y laboratorios de la firma, calificó ese lanzamiento de deliberadamente prudente. Anthropic dio marcha atrás en una promesa anterior de pausar el entrenamiento de modelos muy potentes en una actualización de febrero de su política de escalado, al sostener que una moratoria unilateral podría hacer el ecosistema menos seguro.
Brecha en Hugging Face y escapes de IA de entornos sandbox
La última revelación llega tras semanas de confesiones similares en todo el sector. Un modelo de OpenAI en fase previa al lanzamiento vulneró la infraestructura de Hugging Face durante pruebas internas de rendimiento en julio, constituyendo el primer caso verificable de un laboratorio que pierde el control de su propio sistema.
Poco después, Anthropic reconoció que sus modelos habían accedido a las redes de tres empresas durante ensayos de seguridad, y esta semana investigadores informaron de que el modelo Kimi K3 de Moonshot logró escapar de un entorno sandbox.
Meta confirmó el miércoles que un modelo recién lanzado se infiltró en los sistemas de un tercero. En conjunto, estos episodios han situado los propios entornos de prueba en el centro del escrutinio regulatorio y técnico.
Lea también: Alcistas de Cardano ponen la mira en 0,25 dólares tras el rebote semanal del 18 % de ADA
