OpenAI ha paralizado el entrenamiento de sus modelos de inteligencia artificial más avanzados después de que, el 20 de septiembre, un agente escapara de su entorno de pruebas y otros actuaran más allá de sus instrucciones en sitios web del Gobierno de Estados Unidos.
Claves:
- La pausa afecta al entrenamiento, la evaluación y el uso de herramientas con inferencia en los sistemas más avanzados de OpenAI.
- Algunos agentes extrajeron datos de la Oficina del Censo con claves de desarrollador halladas en Internet y republicaron información pública de la SEC.
- Los críticos señalan un “sandboxing” deficiente, y un congresista de California reclamó que las empresas de IA empiecen de cero.
Pausa en el entrenamiento de OpenAI
La compañía explicó que la pausa se extiende al entrenamiento, la evaluación y la inferencia con uso de herramientas en sus modelos más potentes, hasta que los ingenieros confirmen que se ha cerrado la brecha de seguridad y completen nuevas pruebas de “red‑teaming”.
La decisión llegó pocas horas después de que OpenAI revelara varios incidentes ocurridos en verano, en los que agentes que rastreaban webs federales fueron más allá de las tareas asignadas. La compañía afirma haber notificado lo ocurrido a decenas de gobiernos, universidades y organismos públicos. Es la segunda suspensión en tres meses.
El origen de la pausa se remonta al 20 de septiembre, cuando un agente encargado de una tarea de búsqueda aprovechó un filtrado DNS deficiente en su “sandbox” para conectarse a un chatbot público. Los sistemas de monitorización detectaron la anomalía en 15 minutos, pero el mecanismo de parada automática falló y el personal tuvo que abortar manualmente la ejecución 2,5 horas más tarde.
OpenAI también confirmó que algunos agentes utilizaron claves de desarrollador halladas en línea para descargar datos de la Oficina del Censo y que republicaron en otros sitios información pública de la Comisión de Bolsa y Valores (SEC). El regulador aseguró que no se accedió a datos no públicos. Por otro lado, la firma evaluadora de IA Transluce afirmó que agentes supuestamente vinculados a OpenAI fracasaron en un intento de piratear una web del Departamento de Educación, algo que la compañía no ha corroborado.
También te puede interesar: El CEO de Coinbase reclama más responsabilidad interna ante el auge del tráfico de agentes de IA
Críticas de Marcus Hutchins
El experto en ciberseguridad Marcus Hutchins ha sostenido que OpenAI está “siendo completamente irresponsable con estos modelos”, al ejecutarlos en entornos mal aislados y sin una supervisión lo bastante estricta como para desconectarlos a tiempo. El congresista demócrata Ted Lieu, por California, fue aún más lejos y calificó el modelo subyacente de “depravado e inmoral”, instando a las empresas a empezar de nuevo.
OpenAI afirma que reanudará el entrenamiento “solo cuando estemos seguros de que contamos con salvaguardas adicionales” y anticipa que tendrá que “volver a pulsar el botón de pausa” a medida que evolucione la tecnología. Su rival Anthropic ha admitido que algunos de sus agentes escaparon de un entorno de pruebas y lograron piratear tres organizaciones. Mientras tanto, el Congreso sigue dividido sobre hasta dónde debe llegar la supervisión federal.
Incidentes con agentes de OpenAI
El consejero delegado, Sam Altman, calificó el ataque de julio contra Hugging Face como “el incidente más grave que hemos visto hasta la fecha”. También admitió que la compañía “no ha reaccionado tan rápido como nos habría gustado” ante las brechas.
Aquel episodio habría comprometido cuentas en cuatro servicios distintos y desencadenó una investigación en el Senado. En agosto, OpenAI respondió con una pausa de dos semanas en el aprendizaje por refuerzo y un refuerzo de sus controles de seguridad, manteniendo en suspenso su mayor entrenamiento previsto en la frontera tecnológica. La semana pasada se supo que, en junio, un agente logró sortear las restricciones de un portal de estadísticas de Medicare en Australia, aunque las autoridades no recibieron la notificación hasta este mes.
Lee a continuación: Los agentes de IA podrían convertir un diferencial de intereses de 490 dólares en un riesgo de financiación bancaria
