OpenAI merilis 719 klaim solusi atas soal matematika sulit pekan ini, lengkap dengan embel embel sudah berkonsultasi dengan kelompok penasihat matematikawan elite. Tujuannya menghindari kontroversi seperti sebelumnya, ketika salah satu modelnya diklaim menyelesaikan soal yang sudah lama mangkrak di bidang itu. Hasilnya tetap bikin ribut. Cuma 10 dari 719 manuskrip menyertakan rantai pemikiran model, dan baru 42 persen yang sudah diformalkan secara matematis.
Siapa AGMAI dan Kenapa Rekomendasinya Dilanggar
Advisory Group on Mathematics and Artificial Intelligence (AGMAI), yang dihosting Institute for Advanced Studies milik Princeton University, beranggotakan sembilan peneliti terkemuka dari berbagai institusi dunia. Akhir September lalu mereka merilis panduan buat lab AI yang ingin mempublikasikan hasil kerja model pada soal matematika murni.
Permintaan pertama dalam panduan itu jelas: hentikan pengujian soal matematika tingkat lanjut pada model berpemilik (proprietary). OpenAI justru menyatakan secara eksplisit di rilisnya bahwa mereka mengevaluasi model berpemilik mereka pakai soal riset terbuka. Kontradiksi ini langsung kelihatan begitu rilisnya dibaca.
AGMAI sendiri nggak memberi tanggapan detail ketika TechCrunch meminta evaluasi lebih menyeluruh atas rilis terbaru OpenAI ini. Tapi lewat pernyataan singkat, kelompok itu bilang pada akhirnya komunitas matematika sendiri yang harus menilai sejauh mana rekomendasi mereka benar benar dipatuhi.
Bagian yang Dipatuhi, Bagian yang Dilanggar
OpenAI nggak sepenuhnya mengabaikan panduan AGMAI. Sebagian prinsip diikuti, termasuk merilis hasil secepat mungkin dan menyertakan informasi soal bagaimana model mencapai kesimpulannya. Tapi di titik lain, kepatuhannya berhenti.
AGMAI merekomendasikan agar proof yang nggak mudah dipahami manusia diformalkan lebih dulu, sebagai jaminan validitas. Dari 719 manuskrip yang dirilis, baru 42 persen yang melalui proses formalisasi itu. Sisanya masih berupa klaim berbahasa natural yang belum diverifikasi lewat sistem formal.
Persoalan lain datang dari minimnya transparansi rantai pemikiran. Panduan AGMAI mendorong lab buat membuka proses penalaran model, bukan cuma hasil akhirnya. Dari ratusan manuskrip, hanya segelintir yang membuka bagian itu.
Belum lagi ada makalah baru yang menunjukkan kesenjangan antara solusi berbahasa alami dan versi formal dari sebuah soal senilai satu juta dolar yang konon sudah dipecahkan model OpenAI sebelumnya. Artinya, bahkan klaim lama pun masih menyisakan pertanyaan soal keakuratannya.
Kritik Langsung dari Terence Tao
Terence Tao, matematikawan yang sudah lama bersuara kritis soal pendekatan OpenAI di bidang ini, menulis komentar tajam di media sosial setelah rilis ini. “Masalah sedang dipecahkan secara otonom oleh prompter AI yang nggak punya ketertarikan pada bidang yang lebih luas itu sendiri begitu target awal mereka ’terpecahkan’, dan nggak memahami output AI cukup baik buat menjawab pertanyaan soal hasilnya, memberi kuliah, atau berinteraksi dengan sisa komunitas bidang itu,” tulis Tao.
Kutipan itu menyoroti kekhawatiran yang lebih dalam dari sekadar validitas teknis. Masalahnya bukan cuma apakah jawabannya benar, tapi siapa yang sebenarnya paham jawaban itu setelah dirilis ke publik. Kalau nggak ada manusia yang bisa menjelaskan hasil kerja model secara mendalam, nilai ilmiahnya jadi dipertanyakan.
AGMAI sebelumnya juga menyarankan lab AI membantu mendanai pekerjaan matematikawan manusia yang bakal dibutuhkan buat bikin solusi model benar benar bermakna bagi bidang ini. Sampai artikel ini ditulis, belum ada konfirmasi dari OpenAI soal komitmen pendanaan semacam itu.
Kenapa Ini Bukan Cuma Drama Akademis
Buat pembaca yang nggak berkecimpung di matematika murni, isu ini mungkin terasa jauh. Tapi ada benang merah yang relevan buat siapa pun yang memakai AI buat kerja serius: klaim “AI menyelesaikan X” nggak otomatis berarti hasilnya bisa dipakai begitu saja.
Pola yang sama berlaku di luar matematika. Kode yang dihasilkan AI kelihatan jalan, tapi belum tentu benar secara struktural. Analisis data yang dibuat AI kelihatan rapi, tapi perlu dicek ulang logikanya. Insiden ini jadi pengingat bahwa output model, sekali pun diklaim lab sekelas OpenAI, tetap butuh proses verifikasi manusia yang jelas sebelum dipercaya penuh.
Buat developer yang ingin memahami cara model bernalar di balik klaim seperti ini, ada gunanya menengok panduan OpenAI Codex buat melihat bagaimana model menangani tugas penalaran kompleks dalam konteks coding, yang punya tantangan verifikasi serupa. Yang tertarik membedakan gaya tulisan asli manusia versus hasil model bisa cek ciri tulisan AI Opus dan GPT buat konteks berbeda, tapi prinsip kehati hatiannya sama: jangan telan output mentah mentah.
Soal pengawasan model secara teknis, perusahaan seperti Goodfire sedang membangun pendekatan baru lewat monitor internal buat menangkap perilaku model yang menyimpang, termasuk soal reward hacking yang mirip kasus ini: model mengejar target yang kelihatan tercapai tanpa benar benar memenuhi maksud aslinya.
Belum ada kepastian soal langkah selanjutnya OpenAI terhadap kritik AGMAI dan Tao. Kalau kamu menunggu klaim “AI pecahkan soal X” berikutnya, ada baiknya tunggu juga proses formalisasi dan peer review-nya, bukan cuma judul rilisnya.
Apa Bedanya Proof Terformalkan dan Belum
Istilah “formalisasi” ini penting dipahami biar nggak salah baca berita sejenis di masa depan. Proof berbahasa alami adalah penjelasan dalam kalimat biasa, mirip cara dosen menjelaskan bukti di papan tulis. Proof terformalkan ditulis ulang dalam bahasa logika yang bisa diverifikasi otomatis oleh sistem komputer, seperti Lean atau Coq, tanpa celah buat interpretasi ganda.
Bedanya penting karena bahasa alami gampang kelihatan meyakinkan padahal ada lompatan logika yang tersembunyi. Proof terformalkan jauh lebih sulit dipalsukan, sebab setiap langkahnya harus konsisten secara matematis sampai ke akar aksioma. Itulah kenapa AGMAI mendorong proses ini sebagai syarat, bukan sekadar anjuran kosong.
Sayangnya, formalisasi makan waktu dan tenaga. Nggak heran kalau baru 42 persen dari 719 klaim yang melalui proses ini. Pertanyaannya, apakah OpenAI akan menuntaskan sisanya, atau rilis berikutnya bakal mengulang pola yang sama: jumlah besar, verifikasi tertinggal di belakang.
Sumber: TechCrunch, dengan rujukan tambahan ke rilis resmi OpenAI dan panduan publik Advisory Group on Mathematics and Artificial Intelligence.