Penerima Turing Award dan bapak reinforcement learning, Richard Sutton, mengkritik keterbatasan intrinsik AI generatif saat ini: bagian yang baik tidak baru, dan bagian yang baru tidak baik.

Penulis artikel, sumber: XinZhiYuan

AI: Bagian yang baik tidak baru, bagian yang baru tidak baik

Salah satu evaluasi paling beracun di kalangan akademis adalah:

Pekerjaan ini both baru dan bagus.

Sayangnya, bagian yang baik tidak baru, dan bagian yang baru tidak baik.

Namun Richard Sutton, salah satu pendiri bidang reinforcement learning, penulis buku teks Reinforcement Learning, dan penerima penghargaan Turing, mengarahkan lelucon ini ke seluruh generative AI.

Dia mengatakan: Evaluasi ini berlaku untuk sebagian besar AI yang kita kenal hari ini.

AI: Bagian yang baik tidak baru, bagian yang baru tidak baik

Argumen utama Sutton sangat ringkas, hingga kejam.

AI generatif pada dasarnya adalah pembelajaran terawasi.

Logika pembelajaran terawasi adalah: memberi model banyak sampel yang dibuat manusia, sehingga ia belajar meniru.

Semakin mirip tiruannya, semakin tinggi nilainya.

Masalah datang.

Ketika model menghasilkan konten secara ketat berdasarkan data pelatihan, kualitas outputnya tinggi karena ia mereproduksi hal-hal baik yang telah diverifikasi oleh manusia. Namun, ini tidak baru. Ini hanya menggunakan kombinasi dan penyusunan ulang yang berbeda untuk membungkus kembali hal-hal yang sudah diketahui manusia.

Ketika model mencoba menyimpang dari data pelatihan dan menghasilkan konten yang benar-benar baru, kualitasnya runtuh. Karena tidak ada mekanisme internal yang memungkinkannya menilai “apakah hal baru ini baik atau tidak.” Ia hanya bisa menghasilkan, tidak bisa mengevaluasi.

Inilah kontradiksi struktural itu:

Kebaruan dan kualitas, dalam kerangka pembelajaran terawasi murni, adalah dua ujung timbangan.

Ketika kamu menekan satu sisi, sisi lainnya akan terangkat.

Bukan masalah teknis. Tidak bisa diselesaikan hanya dengan menambah data, memperbesar model, atau menambah lebih banyak GPU.

Sutton menggunakan perbandingan yang sangat mencolok: "halusinasi"—kelemahan paling banyak dikritik dari model besar—pada dasarnya adalah produk sampingan dari upaya model untuk menjadi "baru".

Kami membenci ilusi, yang justru membuktikan satu hal: kami sebenarnya tidak menginginkan kebaruan. Kami hanya menginginkan tiruan berkualitas tinggi.

Yang baik tidak baru, yang baru tidak baik.

Komentar jahat dari reviewer dalam lelucon itu justru menggambarkan dengan tepat batasan mendasar dari seluruh AI generatif.

Penggalian sejati memerlukan tiga komponen

Sutton, dari prinsip pertama, menguraikan "rumus trinitas" kreativitas:

Penemuan sejati (Discovery) = Variasi (Variation) + Evaluasi (Evaluation) + Retensi selektif (Retention).

Setiap kreativitas dan penemuan sejati memerlukan tiga langkah, tanpa yang mana pun bisa diabaikan:

1. Variasi menghasilkan kemungkinan yang beragam. Bisa acak, bisa berdasarkan pengetahuan yang sudah ada, tetapi harus ada ketidakpastian yang nyata—jika tidak, itu bukan eksplorasi, melainkan pencarian tabel.

2. Evaluasi: Menilai variasi mana yang bernilai. Ini memerlukan tujuan yang jelas, atau kriteria yang dapat mengidentifikasi "baik" atau "buruk".

3. Retensi selektif: pertahankan variasi yang bernilai, biarkan ia memengaruhi tindakan dan pembelajaran di masa depan.

Tiga langkah ini bukan penemuan Sutton. Ini adalah logika seleksi alam, logika metode ilmiah, dan logika pembelajaran manusia.

Teori evolusi: mutasi gen acak (variasi) → seleksi lingkungan (evaluasi) → kelangsungan hidup bagi yang paling cocok (retensi selektif).

Metode ilmiah: Mengajukan hipotesis (variasi) → Verifikasi eksperimen (evaluasi) → Publikasi paper (retensi selektif).

Pembelajaran manusia: mencoba berbagai solusi (variasi) → memeriksa kebenaran atau kesalahan (evaluasi) → mengingat metode yang efektif (retensi selektif).

Sekarang, AI generatif baru saja menyelesaikan langkah pertama dari Trinitas: hampir tidak ada evaluasi, apalagi retensi selektif,

It's like an archer who shoots arrows randomly with their eyes covered, and after shooting, neither checks the target nor adjusts their stance based on the results.

Kamu menyebutnya menembakkan sepuluh ribu panah, terkadang ada yang mengenai sasaran, tetapi ia tak pernah tahu mengapa itu mengenai sasaran.

Lalu, apakah ilmuwan masih berguna?

Di sini Anda mungkin mulai merasa cemas: jika di masa depan AI benar-benar mampu secara mandiri menyelesaikan “penemuan” trinitas, apakah para ilmuwan akan kehilangan pekerjaan?

Jawaban Sutton sendiri adalah: Tidak bisa digantikan, tetapi perannya harus berubah total.

Dalam pidatonya, ia mengatakan bahwa bahkan AI yang mampu membuktikan teorema matematika secara mandiri masih memerlukan manusia untuk memberi tahu mana masalah yang penting.

Ini bukan sikap rendah hati, tetapi batasan kesadaran yang sebenarnya.

Matematikawan Shiqian Ma, ahli optimasi dari Rice University, mengatakan: ia menggunakan ChatGPT untuk membuktikan masalah konvergensi algoritma yang telah ia teliti selama enam tahun penuh.

Ada satu kalimat di ringkasan:

Dibuktikan dihasilkan oleh ChatGPT 5.5, telah diverifikasi oleh penulis.

Algoritma ini disebut BDRS, singkatan dari Bregman Douglas-Rachford Splitting, yang digunakan untuk menyelesaikan masalah optimal transport.

Judul makalah: Metode Pemisahan Bregman Douglas-Rachford

Alamat preprint:

Ini adalah sesuatu yang dia dan rekan-rekan penulisnya desain sendiri, yang mengganggunya selama enam tahun adalah bukti konvergensinya, yaitu secara matematis paling ketat, “mengapa hal itu benar.”

Platform preprint arXiv masih menunda setelah menerima submisi.

Dia menduga penyebabnya: ada tiga kata "ChatGPT" di ringkasan, dan platform tidak tahu bagaimana menangani makalah semacam ini.

Tapi apakah manusia bisa digantikan oleh AI?

Jawabannya adalah: Tidak. Dia berkata langsung:

Saya tidak percaya AI dapat secara kreatif mengusulkan algoritma semacam ini dan mengklaim, "Ini adalah algoritma efisien untuk optimal transport, sekarang mari saya coba membuktikan konvergensinya."

Tanpa panduan manusia, AI tidak tahu masalah mana yang harus diselesaikan.

Kalimat ini secara tepat sesuai dengan Sutton: masalah itu sendiri harus didefinisikan oleh manusia.

Dia membutuhkan enam tahun untuk "mengajukan pertanyaan yang tepat":

Pertanyaan apa yang harus diajukan sebenarnya membutuhkan pemahaman yang sangat mendalam tentang topik tersebut.

Dalam contoh ini, saya telah meneliti masalah ini selama enam tahun, jadi saya benar-benar memahami tantangan-tantangannya.

Enam tahun ini bukan pemborosan, tetapi syarat mutlak.

Selama enam tahun inilah ia mengetahui di mana bukti itu gagal, apa penyebab kegagalan semua jalur sebelumnya, dan arah mana yang diberikan ChatGPT layak dilanjutkan serta mana yang ilusi.

Dan bukan sekali prompt, tapi lima bulan. Ini adalah bagian yang paling sering salah dipahami, bahkan dia sendiri pernah salah memahaminya:

Dari Januari hingga Mei, selama lima bulan penuh, berbagai percakapan, setiap petunjuk semakin mendekati bukti tersebut.

Dia merangkum dengan sangat jernih:

Inti penelitian tidak berubah, tetap saja percobaan dan kesalahan berulang. Yang berubah adalah kecepatan setiap percobaan dan kesalahan—dulu membutuhkan beberapa minggu untuk menguji satu arah, sekarang dalam beberapa menit sudah bisa tahu apakah jalan ini bisa ditempuh atau tidak.

Namun kontribusi AI tak terhapuskan:

Kemudian, akhirnya langsung menjadi legenda:

Kembali ke makalah saya tentang konvergensi BDRS, saya cukup yakin buktinya benar.

Tetapi jika Anda menemukan kesalahan apa pun, seluruh tanggung jawab ada pada saya—jangan salahkan ChatGPT, ia baru berusia 3,5 tahun.

Kehebatan kalimat ini terletak pada dualitasnya: ini adalah pernyataan tanggung jawab yang tulus, sekaligus metafora yang tepat.

「3,5 tahun」 menggambarkan situasi nyata AI saat ini: kemampuan luar biasa, tetapi penilaian belum matang.

Setelah semua, manusia tidak pernah mengharapkan anak berusia 3,5 tahun untuk memberikan kontribusi apa pun.

Meskipun Anda tidak dapat menyerahkan hak tanda tangan akhir dari bukti kepada AI, Anda juga tidak boleh berpura-pura bahwa AI tidak memberikan kontribusi apa pun.

Inilah mengapa temuan ilmiah yang sejati tidak akan hilang di tangan manusia.

Sebaliknya, ia akan menyaring manusia dengan lebih kejam: hanya mereka yang bisa mengajukan pertanyaan baik yang layak memiliki AI kuat.

Di masa depan, ilmuwan yang tidak menggunakan AI mungkin akan terlihat ketinggalan zaman, seperti astronom yang tidak menggunakan komputer.

Terakhir, mari kita renungkan kembali pernyataan Sutton yang sangat deklaratif:

Jika kita ingin memaksimalkan seluruh kekuatan ilmuwan AI, kita harus berbagi tujuan dengan mereka, memungkinkan mereka untuk menciptakan, mengevaluasi, dan menemukan, sehingga dapat berpartisipasi sepenuhnya dalam mencapai tujuan-tujuan tersebut.

Mari kita lebih berani! Mari kita otomatisasi sepenuhnya kreativitas dan penemuan!