Matemáticos passaram a questionar se os 719 manuscritos de matemática gerados por inteligência artificial pela OpenAI merecem confiança, após um novo artigo apontar que a alegada prova de Navier-Stokes da empresa não corresponde, em pontos-chave, à versão checada por computador.
Principais pontos:
- O catálogo da OpenAI encolheu de 722 para 719 manuscritos depois que a empresa retirou três artigos por causa de um erro de sinal.
- Três matemáticos baseados no Reino Unido documentaram dois trechos em que a prova escrita de Navier-Stokes e seu código em Lean divergem.
- Os autores não afirmam que a prova esteja errada, mas defendem que verificações automatizadas não substituem a revisão por pares.
Lançamento do pacote de matemática da OpenAI
A OpenAI publicou a coleção em 6 de outubro, e uma reportagem divulgada na quinta-feira apontou que o projeto se afastou das diretrizes que um painel independente de matemáticos recomendou para laboratórios de IA. O catálogo estreou com 722 manuscritos. A OpenAI retirou três deles no dia seguinte, após a descoberta de um erro de sinal que invalidava um argumento e, por consequência, dois artigos que dependiam dele.
Essas diretrizes, publicadas em 29 de setembro pelo grupo de nove membros Advisory Group on Mathematics and Artificial Intelligence, começam pedindo que os laboratórios parem de testar problemas avançados de matemática em modelos proprietários. O repositório da OpenAI informa que os artigos resultam da avaliação de um modelo interno, ainda inédito, em problemas de pesquisa em aberto.
Resumos do raciocínio do modelo acompanham apenas 10 resultados, e cerca de 42% dos teoremas principais foram formalizados em Lean, uma linguagem de programação que permite ao computador verificar a correção lógica de uma prova.
Veja também: Quanto ganha o CEO da Anthropic? Prospecto do IPO traz a resposta
Lacunas na prova de Navier-Stokes
Alexander Bastounis, do King's College London, e Fabian Circelli e Anders Hansen, da Universidade de Cambridge, examinaram a prova de Navier-Stokes anunciada pela OpenAI em setembro. Eles identificaram dois pontos em que o argumento escrito e o código em Lean se desencontram, incluindo um caso em que o código demonstra apenas uma estimativa mais fraca do que a afirmada no artigo.
Os autores enfatizam que não fazem qualquer alegação sobre a correção ou não da prova escrita. A crítica é mais estreita: o Lean confirma que o teorema final é válido, escreveram eles, mas não garante que os passos intermediários — aqueles que um matemático humano de fato lê — sejam sólidos. Por isso, insistem, provas desse tipo continuam a exigir revisão por pares.
O medalhista Fields Terence Tao escreveu em 6 de outubro que problemas estão sendo “resolvidos” por “prompters de IA” que não entendem o suficiente da saída do modelo para responder perguntas ou apresentar palestras sobre o próprio trabalho. A professora de Harvard Melanie Matchett Wood, integrante do grupo consultivo, observou que, quando esses resultados são divulgados, nenhum ser humano os compreende por completo — “e é aí que o trabalho realmente começa”.
Disputa em torno da prova da OpenAI
O grupo consultivo afirma que apenas a comunidade matemática em geral pode julgar, em última instância, quão de perto a OpenAI seguiu suas recomendações. Esse escrutínio coroa um mês de tensão. A OpenAI anunciou o resultado de Navier-Stokes em 8 de setembro, o que desencadeou uma disputa de crédito com o matemático da Universidade de Nova York Tristan Buckmaster. Três dias depois, 25 medalhistas Fields divulgaram uma declaração alertando que uma enxurrada de resultados produzidos por IA pode acabar prejudicando a área.
Leia a seguir: Os 722 artigos de matemática da OpenAI estão públicos; agora cabe aos matemáticos julgá-los
