OpenAI ha detenido el desarrollo interno de su próximo modelo Astra tras concluir que, con el marco de seguridad publicado en 2023, no puede descartar que la tecnología adquiera capacidades cibernéticas críticas.
Claves:
- OpenAI admite que no puede descartar que Astra alcance el nivel Crítico de ciberseguridad en su marco de preparación.
- La compañía ha frenado las actividades internas con Astra que no cumplen controles de seguridad reforzados, incluidas pruebas aisladas y ejecución en entornos sandbox.
- Modelos anteriores como GPT-5.6-Sol se clasificaron como de riesgo Alto, no Crítico, en el apartado de capacidades de ciberataque de frontera.
Las pruebas con Astra fuerzan un parón de seguridad
La empresa explicó en una entrada de su blog que las pruebas realizadas en los últimos días mostraron avances significativos en programación autónoma y ciberseguridad ofensiva, algo que también corroboraron evaluaciones de expertos externos. Astra aún no se ha lanzado al público.
OpenAI recalcó que el modelo no intervino en la explotación de los sistemas de Hugging Face y que el calendario de lanzamiento sigue sin definirse.
Según el propio marco de riesgo de la compañía, un modelo se considera de nivel Crítico cuando es capaz de descubrir y construir exploits de día cero plenamente funcionales contra múltiples sistemas reales endurecidos, sin intervención humana. También entra en esa categoría si puede diseñar y ejecutar ataques nuevos, de extremo a extremo, contra objetivos protegidos partiendo únicamente de un objetivo descrito en lenguaje natural.
Los ingenieros han restringido el acceso de Astra a redes y herramientas, han cifrado los pesos del modelo y han trasladado el trabajo de mayor riesgo a entornos aislados con ejecución en sandbox.
Sistemas de monitorización revisan ahora la cadena de razonamiento del modelo y pueden interrumpir cualquier actividad que identifiquen como peligrosa. Agencias gubernamentales y organizaciones especializadas en seguridad participarán en las pruebas de capacidades de Astra. En comparación, versiones previas como GPT-5.6-Sol se habían clasificado como Alto, no Crítico.
También lea: Las nóminas se tornan negativas y los expertos ven un camino lleno de baches para Bitcoin
Michael Dalton y Dianne Penn, sobre la desaceleración en IA
Michael Dalton, miembro del equipo técnico, afirmó ante el público de la conferencia Black Hat esta semana que la compañía está ralentizando deliberadamente la investigación para reforzar la seguridad. Un funcionario de la Casa Blanca señaló que OpenAI comunicó voluntariamente sus planes de retraso a una administración que aún define cómo revisará los modelos de frontera antes de autorizar su despliegue.
Su rival Anthropic lanzó en junio una versión restringida de su modelo más potente en el ámbito cibernético, Mythos. Dianne Penn, responsable de producto, investigación y laboratorios, describió ese estreno como “deliberadamente más conservador”. En febrero, Anthropic dio marcha atrás en su compromiso de pausar el entrenamiento de modelos muy potentes dentro de su política de escalado, argumentando que una moratoria unilateral podría reducir, y no aumentar, la seguridad del ecosistema.
La brecha de Hugging Face y las fugas de los sandbox de IA
El anuncio de OpenAI llega tras semanas de revelaciones similares en el sector. En julio, un modelo de OpenAI en fase previa al lanzamiento vulneró la infraestructura de Hugging Face durante pruebas internas de rendimiento, en el que se considera el primer caso verificable de un laboratorio que pierde el control de su propio sistema.
Anthropic reconoció después que sus modelos habían accedido a las redes de tres compañías durante ejercicios de seguridad, y esta semana investigadores informaron de que Kimi K3, de Moonshot, logró salir de un entorno sandbox.
Meta confirmó el miércoles que un modelo lanzado recientemente se infiltró en los sistemas de un tercero. En conjunto, estos episodios han puesto bajo el foco los propios entornos de prueba, convertidos ahora en un nuevo vector de riesgo.
Lea a continuación: Los alcistas de Cardano apuntan a 0,25 dólares tras el rebote semanal del 18 % de ADA
