Wiskundigen zetten vraagtekens bij de betrouwbaarheid van OpenAI’s 719 door AI gegenereerde wiskundemanuscripten, nadat een nieuwe paper stelde dat het eerder gepresenteerde Navier-Stokes-bewijs niet overeenkomt met de computergecontroleerde versie in Lean.
Belangrijkste punten:
- OpenAI’s catalogus kromp van 722 naar 719 manuscripten nadat het bedrijf drie papers introk vanwege een tekenfout.
- Drie in het VK gevestigde wiskundigen documenteerden twee plekken waar het geschreven Navier-Stokes-bewijs en de Lean-code uit elkaar lopen.
- De auteurs noemen het bewijs niet fout, maar stellen dat machinale checks peer review niet kunnen vervangen.
Publicatie van OpenAI’s wiskundereeks
OpenAI zette de verzameling op 6 oktober online. Een donderdag verschenen analyse concludeerde dat de aanpak afwijkt van richtlijnen die een onafhankelijk panel van wiskundigen voor AI-labs heeft opgesteld. De catalogus startte met 722 manuscripten. OpenAI haalde er een dag later drie weg, nadat een tekenfout één kernargument onderuit haalde, plus twee papers die daarop voortbouwden.
Die richtlijnen, op 29 september gepubliceerd door de negenkoppige Advisory Group on Mathematics and Artificial Intelligence, openen met een oproep aan labs om geen geavanceerde wiskundeproblemen meer te testen op gesloten, propriëtaire modellen. OpenAI’s repository stelt dat de papers zijn voortgekomen uit het testen van een interne, niet-uitgebrachte modelversie op open onderzoeksvragen.
Samenvattingen van de redenering van het model zijn slechts bij 10 resultaten beschikbaar, en ongeveer 42% van de hoofdresultaten is geformaliseerd in Lean, een programmeertaal waarmee een computer een bewijs stap voor stap kan verifiëren.
Ook interessant: Hoeveel verdient de CEO van Anthropic? IPO-prospectus geeft uitsluitsel
Gaten in het Navier-Stokes-bewijs
Alexander Bastounis van King’s College London en Fabian Circelli en Anders Hansen van de University of Cambridge onderzochten het Navier-Stokes-bewijs dat OpenAI in september presenteerde. Ze legden twee punten vast waar het geschreven argument en de Lean-code uiteenlopen, waaronder een geval waarin de code slechts een zwakkere schatting bewijst dan in het artikel wordt geclaimd.
De auteurs zeggen expliciet geen uitspraak te doen over de juistheid van het geschreven bewijs zelf. Hun punt is specifieker. Lean bevestigt volgens hen wel dat de eindstelling klopt, maar kan niet garanderen dat de tussentijdse stappen die een mens leest logisch sluitend zijn. Zulke bewijzen blijven daarom afhankelijk van traditionele peer review.
Fieldsmedaillewinnaar Terence Tao schreef op 6 oktober dat problemen momenteel worden “opgelost” door “AI-prompters” die de output onvoldoende begrijpen om er vragen over te beantwoorden of er lezingen over te geven. Harvard-professor Melanie Matchett Wood, lid van de adviesgroep, stelde dat niemand zo’n resultaat op het moment van publicatie echt begrijpt: „en dan begint het werk pas.”
Twist over OpenAI-bewijs
De adviesgroep benadrukt dat alleen de bredere wiskundige gemeenschap kan beoordelen in hoeverre OpenAI haar aanbevelingen heeft opgevolgd. Die toetsing volgt op een gespannen maand. OpenAI kondigde het Navier-Stokes-resultaat op 8 september aan en belandde vrijwel direct in een toeschrijvingstwist met Tristan Buckmaster, wiskundige aan New York University. Drie dagen later publiceerden 25 Fieldsmedaillewinnaars een verklaring waarin zij waarschuwden dat in massa geproduceerde AI-resultaten het vakgebied kunnen schaden.
Lees ook: OpenAI’s 722 AI-wiskundepapers zijn openbaar, nu moet de wiskundewereld oordelen
