Para matematikawan mulai mempertanyakan seberapa jauh 719 manuskrip matematika yang dihasilkan AI milik OpenAI bisa dipercaya, setelah sebuah makalah menyatakan bukti Navier–Stokes yang diumumkan perusahaan tidak sepenuhnya sejalan dengan versi yang diverifikasi komputer.
Pokok-pokok penting:
- Katalog OpenAI susut dari 722 menjadi 719 manuskrip setelah perusahaan menarik tiga makalah karena kesalahan tanda.
- Tiga matematikawan berbasis di Inggris mendokumentasikan dua titik perbedaan antara bukti Navier–Stokes tertulis dan kode Lean-nya.
- Para penulis tidak menyatakan buktinya salah, namun menegaskan pemeriksaan mesin tidak dapat menggantikan telaah sejawat (peer review).
Rilis Koleksi Matematika OpenAI
OpenAI merilis kumpulan manuskrip tersebut pada 6 Oktober. Laporan yang terbit Kamis kemudian menemukan bahwa prosesnya menyimpang dari pedoman yang disusun panel independen matematikawan untuk laboratorium AI. Katalog awalnya berisi 722 manuskrip. OpenAI lalu menarik kembali tiga di antaranya sehari kemudian, setelah sebuah kesalahan tanda merusak satu argumen dan menggugurkan dua makalah lain yang bergantung padanya.
Pedoman itu, yang dikeluarkan pada 29 September oleh Advisory Group on Mathematics and Artificial Intelligence beranggotakan sembilan orang, diawali seruan agar laboratorium berhenti menguji persoalan matematika tingkat tinggi di model tertutup (proprietary). Repositori OpenAI menyebut kumpulan makalah ini berasal dari evaluasi sebuah model internal yang belum dirilis atas berbagai persoalan riset terbuka.
Ringkasan penalaran model hanya disertakan untuk 10 hasil, dan sekitar 42% dari hasil utama telah diformalisasikan di Lean, sebuah bahasa pemrograman yang memungkinkan komputer memeriksa setiap langkah bukti.
Baca Juga: Berapa Gaji CEO Anthropic? Dokumen IPO Mengungkap Angkanya
Celah dalam Bukti Navier–Stokes
Alexander Bastounis dari King's College London bersama Fabian Circelli dan Anders Hansen dari University of Cambridge mengulas bukti Navier–Stokes yang diumumkan OpenAI pada September. Mereka mendokumentasikan dua titik di mana argumen tertulis dan kode Lean menyimpang, termasuk satu bagian di mana kode hanya membuktikan estimasi yang lebih lemah ketimbang klaim di makalah.
Para penulis menegaskan mereka tidak menyatakan apakah bukti tertulisnya benar atau tidak. Fokus mereka lebih sempit: Lean memang mengonfirmasi teorema akhir, tulis mereka, tetapi tidak dapat menjamin bahwa langkah-langkah antara yang dibaca manusia benar seluruhnya. Karena itu, bukti yang diformalisasikan tetap memerlukan telaah sejawat.
Peraih Fields Medal Terence Tao menulis pada 6 Oktober bahwa sejumlah persoalan kini diselesaikan oleh “AI prompters” yang tidak cukup memahami keluaran model untuk menjawab pertanyaan mendalam atau memaparkan hasilnya dalam seminar. Profesor Harvard Melanie Matchett Wood, anggota kelompok penasihat tersebut, mengatakan pada saat hasil seperti ini dirilis, tidak ada manusia yang benar-benar memahaminya, “dan di titik itulah kerja baru dimulai.”
Sengketa atas Bukti OpenAI
Kelompok penasihat itu menyatakan bahwa hanya komunitas matematika yang lebih luas yang dapat menilai sejauh mana OpenAI mematuhi rekomendasi mereka. Pengawasan ketat ini menyusul sebulan yang tegang. OpenAI mengumumkan hasil Navier–Stokes pada 8 September, yang kemudian memicu sengketa pengakuan dengan matematikawan New York University Tristan Buckmaster. Tiga hari sesudahnya, 25 peraih Fields Medal menerbitkan deklarasi yang memperingatkan bahwa produksi massal hasil matematika oleh AI berpotensi merusak disiplin tersebut.
Baca Selanjutnya: 722 Makalah Matematika AI OpenAI Kini Terbuka, Giliran Matematikawan Mengujinya
