Matemáticos de todo el mundo se preguntan hasta qué punto pueden fiarse de los 719 manuscritos matemáticos generados por OpenAI, después de que un nuevo trabajo sostenga que la prueba de Navier-Stokes anunciada por la compañía no coincide con su versión verificada por ordenador.
Puntos clave:
- El catálogo de OpenAI pasó de 722 a 719 manuscritos después de que la empresa retirara tres artículos por un error de signo.
- Tres matemáticos con sede en el Reino Unido documentaron dos puntos en los que la prueba escrita de Navier-Stokes y su código en Lean divergen.
- Los autores no afirman que la prueba sea incorrecta, pero sostienen que las verificaciones automáticas no sustituyen a la revisión por pares.
Lanzamiento del proyecto matemático de OpenAI
OpenAI publicó la colección el 6 de octubre, y un informe difundido el jueves concluyó que el proyecto se aparta de las directrices que un panel independiente de matemáticos elaboró para los laboratorios de IA. El catálogo se estrenó con 722 manuscritos. OpenAI retiró tres de ellos al día siguiente, después de que un error de signo invalidara un argumento y afectara a otros dos trabajos que dependían de él.
Esas directrices, publicadas el 29 de septiembre por el Advisory Group on Mathematics and Artificial Intelligence, formado por nueve miembros, comienzan pidiendo a los laboratorios que dejen de probar modelos propietarios con problemas de matemáticas avanzadas. El repositorio de OpenAI explica que los artículos proceden de evaluar un modelo interno aún inédito en problemas abiertos de investigación.
Resúmenes del razonamiento del modelo acompañan solo a 10 resultados, y aproximadamente el 42% de los teoremas principales se han formalizado en Lean, un lenguaje de programación que permite a un ordenador verificar una demostración.
También te puede interesar: ¿Cuánto gana el CEO de Anthropic? La OPV revela la cifra
Lagunas en la prueba de Navier-Stokes
Alexander Bastounis, del King's College de Londres, y Fabian Circelli y Anders Hansen, de la Universidad de Cambridge, analizaron la prueba de Navier-Stokes que OpenAI anunció en septiembre. Identificaron dos puntos en los que el argumento escrito y el código en Lean divergen, incluido un caso en el que el código solo demuestra una estimación más débil que la que afirma el artículo.
Los autores recalcan que no formulan ninguna conclusión sobre la corrección de la prueba escrita. Su crítica es más acotada: Lean confirma que el teorema final se cumple, explican, pero no puede garantizar que los pasos intermedios que lee un humano sean todos válidos, de modo que estas demostraciones siguen necesitando revisión por pares.
El medallista Fields Terence Tao escribió el 6 de octubre que algunos problemas están siendo resueltos por “prompters de IA” que no entienden lo suficiente la salida del sistema como para responder preguntas detalladas o impartir conferencias sobre esos resultados. La profesora de Harvard Melanie Matchett Wood, miembro del grupo asesor, señaló que, cuando se publican resultados de este tipo, “ningún ser humano los entiende por completo, y es ahora cuando empieza el trabajo”.
Disputa en torno a las pruebas de OpenAI
El grupo asesor ha insistido en que solo la comunidad matemática en su conjunto puede juzgar hasta qué punto OpenAI ha seguido sus recomendaciones. Ese escrutinio llega tras un mes especialmente tenso. OpenAI anunció el resultado sobre Navier-Stokes el 8 de septiembre, lo que desencadenó una disputa de atribución con el matemático de la Universidad de Nueva York Tristan Buckmaster, y tres días después 25 medallistas Fields lanzaron una declaración advirtiendo de que una producción masiva de resultados de IA podría dañar la disciplina.
Lee también: Los 722 artículos de matemáticas de IA de OpenAI ya son públicos: ahora le toca juzgar a la comunidad
