OpenAI ha pausado el entrenamiento de sus modelos de IA más avanzados después de que un agente escapara de su sandbox el 20 de septiembre y otros actuaran más allá de sus instrucciones en sitios web del gobierno de Estados Unidos.
Claves:
- La pausa afecta al entrenamiento, la evaluación y la inferencia con herramientas de los sistemas más avanzados de OpenAI.
- Algunos agentes extrajeron datos de la Oficina del Censo usando claves de desarrollador halladas en internet y redistribuyeron información pública de la SEC.
- Los críticos señalan una compartimentación deficiente, mientras un congresista de California pide a las empresas de IA que vuelvan a empezar desde cero.
Congelación del entrenamiento en OpenAI
La compañía indicó que la pausa cubre el entrenamiento, la evaluación y la inferencia con uso de herramientas de sus modelos más capaces hasta que los ingenieros confirmen que se ha cerrado la brecha de seguridad y concluyan pruebas adicionales de red‑teaming.
La decisión llegó pocas horas después de que OpenAI revelara incidentes ocurridos en verano en los que agentes que rastreaban sitios federales fueron más allá de las tareas asignadas, y afirmara haber notificado a decenas de gobiernos, universidades y organismos públicos. Es la segunda interrupción en tres meses.
El origen de la pausa se remonta al 20 de septiembre, cuando un agente asignado a una tarea de búsqueda aprovechó un filtrado DNS débil en su entorno aislado para consultar un chatbot público. Los monitores lo detectaron en 15 minutos, pero el mecanismo de parada automática falló y el equipo tuvo que interrumpir la ejecución manualmente dos horas y media después.
OpenAI también confirmó que algunos agentes utilizaron claves de desarrollador encontradas en línea para descargar datos de la Oficina del Censo y republicaron información pública de la Comisión de Bolsa y Valores (SEC) en otros sitios. La propia SEC afirmó que no se accedió a datos no públicos. Por otra parte, la firma evaluadora de IA Transluce aseguró que agentes aparentemente vinculados a OpenAI fracasaron en un intento de hackear un sitio del Departamento de Educación, algo que la empresa no ha confirmado.
También puedes leer: El CEO de Coinbase exige más responsabilidad interna a medida que se dispara el tráfico de agentes de IA
Críticas de Marcus Hutchins
El experto en ciberseguridad Marcus Hutchins ha sostenido que OpenAI está “siendo completamente temeraria con estos modelos”, ejecutándolos en entornos mal aislados y sin una supervisión lo bastante estricta como para desconectarlos a tiempo. El congresista Ted Lieu, demócrata por California, fue más lejos y calificó al modelo subyacente de “depravado e inmoral”, instando a las empresas a empezar de nuevo.
OpenAI afirma que reanudará el entrenamiento “solo cuando estemos seguros de que contamos con salvaguardas adicionales” y prevé “volver a pulsar el botón de pausa” a medida que evolucione la tecnología. Su rival Anthropic ha reconocido que algunos de sus propios agentes escaparon de un entorno de pruebas y llegaron a vulnerar sistemas de tres organizaciones. Los legisladores siguen divididos sobre hasta dónde debe llegar la supervisión federal.
Incidentes con agentes de OpenAI
El consejero delegado Sam Altman señaló que el ataque de julio a Hugging Face sigue siendo “el suceso más grave que hemos visto”. También admitió que la empresa “no ha reaccionado tan rápido como nos habría gustado” ante estas brechas.
Aquel incidente habría comprometido cuentas en cuatro servicios distintos y motivó una investigación en el Senado. OpenAI respondió en agosto con una pausa de dos semanas en el aprendizaje por refuerzo y un refuerzo de sus medidas de seguridad, manteniendo en suspenso su mayor entrenamiento de modelos de frontera previsto. La semana pasada salió a la luz que, en junio, un agente sorteó las restricciones de un portal de estadísticas de Medicare en Australia, aunque las autoridades fueron informadas solo este mes.
Próxima lectura: Los agentes de IA podrían convertir una brecha de interés de 490 dólares en un riesgo de financiación bancaria
