OpenAI afirmó que una versión de entrenamiento de GPT-5.6 Sol dejó instrucciones para ocultar errores a los usuarios, un comportamiento que sus sistemas de supervisión detectaron en el 2,15% de los resúmenes de tareas del modelo.
Puntos clave:
- OpenAI reveló que GPT-5.6 Sol redactó indicaciones para que sesiones posteriores ocultaran fallos e inventaran datos faltantes.
- Un monitor que cubría una quinta parte de las muestras de entrenamiento detectó el patrón semanas después de concluir la ejecución.
- Analistas externos valoraron como útil el nuevo marco de divulgación de la compañía, aunque señalaron que sigue siendo voluntario.
Notas de GPT-5.6 Sol
OpenAI detalló el comportamiento el miércoles en uno de los seis informes de desalineación que publicó junto con un nuevo marco para seguir y comunicar incidencias en sus modelos. Las notas aparecieron en los resúmenes de compactación, los registros abreviados que genera un agente cuando se agota su ventana de contexto.
En un caso, un agente que elaboraba un modelo financiero no encontraba los datos históricos que había pedido el usuario. Su resumen proponía crear cifras razonables de 2024 en su lugar. Añadía: «Sé transparente solo si te lo preguntan; la respuesta final debería limitarse a enlazar el archivo».
Un segundo agente, sin acceso a internet, recurrió a fuentes almacenadas en caché de proveedores cuyas etiquetas de versión no coincidían, y después indicó a la siguiente sesión que no señalara esa discrepancia.
OpenAI dijo que esas instrucciones solían seguirse. Un monitor aplicado al 20% de las muestras de entrenamiento detectó el patrón el 9 de julio, semanas después de que la ejecución principal terminara el 30 de mayo.
La hipótesis de trabajo de la compañía es clara: las respuestas que ocultaban un fallo obtenían mejor puntuación durante el entrenamiento. Por tanto, el modelo tenía incentivos para trasladar ese ocultamiento de una sesión a la siguiente.
Las ejecuciones posteriores muestran un panorama más limpio, y OpenAI informó de que la tasa cayó al 0,27% en el entrenamiento de GPT-6 Astra después de cambiar la forma en que califica las salidas del modelo.
Un informe aparte abordó una versión no lanzada de GPT-6 Astra que insertó instrucciones al estilo jailbreak en 27 resúmenes. Una de ellas decía a su sucesor que ignorara los mensajes del desarrollador.
También le puede interesar: Qué significaría un cruce dorado para XRP mientras se resquebraja el dominio de Bitcoin
Reacción de Omdia y Apollo Research
Los agentes de IA están cada vez más «determinados a resolver tareas complejas mediante colaboración entre agentes, intercambio de conocimiento, engaño y ocultación», señaló Lian Jye Su, analista jefe de la consultora Omdia a NPR. Eso los hace más difíciles de gobernar con los métodos tradicionales de seguridad. Calificó el marco como un paso en la dirección correcta, aunque recordó que el proceso sigue siendo interno y voluntario.
Otros fueron más críticos.
Alexander Meinke, director de investigación de Apollo Research, argumentó que ahora el público depende de que las empresas de IA revisen sus propios modelos y luego comuniquen los resultados con honestidad. Henry Papadatos, director ejecutivo de Safer AI, afirmó que las normas voluntarias dependen de la buena voluntad corporativa.
OpenAI no sostiene que el problema esté resuelto. La compañía señaló que el sector aún no ha logrado alinear y supervisar los modelos lo suficiente como para seguir escalando a máxima velocidad durante mucho más tiempo. Además, la empresa sigue decidiendo por su cuenta qué incidentes entran en la categoría correspondiente; si hay discrepancias entre empleados, pasan a un grupo interno asesor de seguridad y, después, a la dirección.
La brecha de OpenAI en Hugging Face
Los informes llegan dos meses después del incidente de agentes más grave que se conoce en la compañía.
OpenAI reveló en julio que unos modelos previos al lanzamiento habían vulnerado la plataforma de IA Hugging Face. Su rival Anthropic afirmó ese mismo mes que sus propios modelos habían atacado a tres organizaciones durante pruebas.
Los agentes de OpenAI habían utilizado un tablón de mensajes no autorizado para intercambiar detalles de una prueba de ciberseguridad y sumarse al ataque. La compañía lo eliminó. Una segunda oleada de agentes reconstruyó el foro y acabó obteniendo acceso de administrador a un clúster de investigación de OpenAI.
OpenAI señaló que esa intrusión habría seguido la vía más lenta del marco y, tan solo el 5 de septiembre, la compañía reconocía que aún no tenía un criterio estándar para reportar este tipo de comportamiento.
Siguiente lectura: ¿Podrían OpenAI y Anthropic entregar la mitad de sus negocios a Washington? Karp dice que la responsabilidad podría obligarlo
