OpenAIが公開したAI生成の数学原稿719本を、数学界が改めて精査の対象としている。発端となったのは、同社が先に発表したナヴィエ–ストークス方程式の解決結果について、「人間が読む証明」と「Leanによる形式検証コード」が一致していないと指摘した新たな論文だ。
主なポイント
- OpenAIは当初722本としていたカタログから、符号ミスが見つかった論文1本と、それに依拠していた2本を取り下げ、現在は719本に減少。
- 英国拠点の数学者3人が、ナヴィエ–ストークス証明に関し、論文本文とLeanコードが食い違う箇所を2カ所特定。
- 著者らは証明が誤りだと言っているわけではないが、「機械による検証は査読の代替にはならない」と強調している。
OpenAIの数学論文一斉公開
OpenAIは10月6日、このAI生成原稿のコレクションを公開した。だが、公開翌日に出たレポートは、同社の運用が数学者有志によるAI研究向けガイドラインから逸脱していると指摘した。
カタログは当初722本でスタートしたものの、OpenAIは翌日に3本を撤回。ある議論を崩す符号ミスが見つかった論文1本と、その結果に依拠していた2本が取り下げられ、現在は719本構成となっている。
問題のガイドラインは、9人の数学者で構成されるAdvisory Group on Mathematics and Artificial Intelligence（数学とAIに関する助言グループ）が9月29日に公表したものだ。冒頭から、AI研究所に対し「高度な数学問題をプロプライエタリモデルのテストベッドとして使うのをやめる」よう求めている。
一方、OpenAIのリポジトリ側は、今回の論文群が「未公開の内部モデルに、未解決の研究課題を解かせて得られたもの」と説明している。
モデルの推論過程を人間向けに要約した文書が付いているのは、全体のうち10本にとどまる。また、トップライン結果のおよそ42％だけが、証明をコンピュータで厳密検査できるプログラミング言語Leanで形式化されている。
関連記事: AnthropicのCEO年収はいくらか——IPO目論見書が示した金額
ナヴィエ–ストークス証明の“ずれ”
キングス・カレッジ・ロンドンのAlexander Bastounis、ケンブリッジ大学のFabian CircelliとAnders Hansenの3氏は、OpenAIが9月に発表したナヴィエ–ストークス方程式の証明を精査した。
その結果、人間が読む論文とLeanコードが一致していない箇所を2カ所確認。特に1カ所では、Lean側が証明している評価は、論文で主張されているものより「弱い条件」にとどまっているという。
著者らは、書かれた証明が正しいかどうかについて結論を出すものではないと断っている。焦点は別にある。Leanは最終的な定理そのものが成り立つことは確認できるが、人間が読む中間ステップの妥当性までは保証しない。そのため、この種の結果であっても、従来どおり人間による査読が不可欠だと強調する。
フィールズ賞受賞者のTerence Taoは、10月6日の投稿で、問題が「AIプロンプター」によって解かれている現状に懸念を示した。彼らは出力結果を十分理解しておらず、質問に答えたり講演したりできないと記した。
Advisory Groupの一員であるハーバード大学教授Melanie Matchett Woodも、こうしたAI生成結果について「公開されたその時点では、誰も本当の意味で理解していない。ここからが本当の仕事の始まりだ」と述べている。
OpenAI証明を巡る波紋
Advisory Groupは、OpenAIが自らの勧告をどの程度守ったのかを最終的に判断できるのは、広範な数学コミュニティだけだとしている。今回の精査は、すでに緊張をはらんだ1カ月の延長線上にある。
OpenAIがナヴィエ–ストークス解決を発表したのは9月8日だったが、直後にニューヨーク大学の数学者Tristan Buckmasterとの間でクレジットを巡る対立が表面化した。
さらにその3日後には、25人のフィールズ賞受賞者が連名で声明を発表し、大量生産されるAI生成の数学結果が分野全体に悪影響を与えかねないと警鐘を鳴らした。
