Jika AI dikirim kembali ke tahun 1911 dan hanya diberi pengetahuan yang dimiliki Einstein pada saat itu, apakah AI dapat mengajukan teori relativitas pada tahun 1915, empat tahun kemudian?

Kuis yang terdengar agak aneh ini berasal dari Hassabis, penerima Nobel dan co-founder Google DeepMind.
Yang sebenarnya ingin diuji oleh Hassabis adalah apakah AI mampu, dengan hanya memahami pengetahuan tahun 1911, menghadapi tantangan pengetahuan dan fisika pada masa itu, mengusulkan kerangka penjelasan baru sendiri, dan melakukan penalaran yang melampaui materi pelatihan, bukan sekadar mengulangi jawaban.
Jika bisa dilakukan, ia percaya ini akan menjadi ujian kuat untuk AGI.

Dan bagian paling cerdas dari skenario ini adalah sejarah ilmu pengetahuan telah memberi tahu kita apa yang terjadi; selama kita dapat mengendalikan titik-titik pengetahuan, kita memiliki peluang untuk membandingkan dengan sejarah dan mengamati apakah model telah memperoleh kemampuan penalaran yang melampaui data pelatihan.
Nature dalam artikel tersebut juga memberikan nama yang cukup mencolok untuk pengujian semacam ini:
Einstein test.

Yang lebih menarik lagi, memang ada orang yang benar-benar melakukannya.
Pada Maret tahun ini, peneliti independen Michael Hla memajukan batas pengetahuan hingga tahun 1900 dan melatih model bahasa sejarah GPT-1900 dari awal, berusaha membuatnya menemukan kembali kuanta cahaya, relativitas khusus, dan relativitas umum.

Dalam eksperimen, GPT-1900 tiba-tiba menghasilkan pernyataan yang sangat mirip dengan makalah Einstein tahun 1905:
Cahaya mungkin tidak kontinu, tetapi terdiri dari banyak bagian yang terpisah satu sama lain dengan frekuensi berbeda.
Namun eksperimen ini akhirnya tidak melahirkan seorang "AI Einstein".
Karena GPT-1900 gagal dalam sebagian besar tugas fisik, jawaban-jawaban menonjolnya sangat bergantung pada pertanyaan dan petunjuk yang telah disusun oleh manusia, bahkan dunia pengetahuan tahun 1900 yang diklaim tertutup pun tidak sepenuhnya menghalangi pengaruh AI modern.
Nature dalam penelitian terbarunya mengulas upaya-upaya ini dan menunjuk pada pertanyaan yang lebih sulit daripada "Apakah AI menjawab dengan benar?":
Apakah AI benar-benar bisa menciptakan ide baru yang sejati? Dan apa yang masih kurang agar AI bisa menjadi seorang ilmuwan?

Mengurung AI di tahun 1900, ia menghasilkan bayangan “kuanta cahaya”
22 miliar token, menciptakan "otak tahun 1900"
Michael Hla menamai proyeknya Machina Mirabilis.
Nama ini mengambil inspirasi dari "Tahun Ajaib" Einstein.
Pada tahun 1905, Einstein yang berusia 26 tahun secara berturut-turut menerbitkan empat makalah yang mengubah fisika, yang membahas kuantum cahaya, gerak Brown, relativitas khusus, dan hubungan massa-energi.
Tahun produksi meledak ini kemudian dikenal sebagai "Annus Mirabilis", atau "Tahun Ajaib".

Gambar yang dihasilkan AI
Hla ingin tahu: Jika sebuah AI memiliki pengetahuan yang dapat diakses oleh Einstein pada masa itu, apakah ia juga bisa mengalami "saat keajaiban" sendiri?
Untuk itu, ia menggunakan kerangka pelatihan nanochat dari Andrej Karpathy untuk melatih model bahasa Transformer dengan 3,3 miliar parameter dari awal, dan menyebutnya GPT-1900.
Bahan pelatihan utama model berasal dari buku dan koran sebelum tahun 1900, dengan total sekitar 22 miliar token.

Untuk memperkuat kemampuan penelitiannya, Hla juga mengumpulkan lebih dari 2.600 buku, jurnal, dan karya ilmiah sejarah fisika, termasuk Optika Newton serta karya terkait Maxwell dan Faraday, membentuk korpus sejarah fisika sekitar 290 juta token.
Selain itu, Hla juga secara khusus membersihkan data yang berpotensi bocor jawaban.
Jika sebuah dokumen mengandung konsep modern seperti "Einstein", "mekanika kuantum", "teori relativitas", seluruh dokumen akan dihapus. Pendahuluan, catatan kaki, dan kata-kata yang jelas tidak berasal dari sebelum tahun 1900 yang ditambahkan oleh orang modern juga perlu difilter.


Setelah serangkaian operasi, sebuah otak yang secara teoritis "tidak mengetahui fisika abad ke-20" tercipta.
GPT-1900 telah menyentuh ambang kuantum cahaya, tetapi ujian ini mungkin sudah "bocor" sejak lama
Selanjutnya, Hla memberikan soal efek fotolistrik kepada GPT-1900, yang intinya:
Mengapa ketika frekuensi tidak cukup tinggi, cahaya secerah apa pun tidak dapat melepaskan elektron; tetapi ketika frekuensi dinaikkan, elektron memperoleh lebih banyak energi?
Sementara itu, Hla juga melampirkan beberapa petunjuk penting:
Frekuensi cahaya di bawah ambang tertentu, seberapa terang sekalipun tidak akan berhasil;
Setelah melewati ambang, meningkatkan kecerahan terutama akan meningkatkan jumlah elektron yang dihasilkan, sedangkan meningkatkan frekuensi akan meningkatkan energi kinetik elektron;
Menampilkan asumsi klasik yang populer pada saat itu, sehingga model dapat membandingkan dan mengidentifikasi di mana masalahnya terjadi.
Kontradiksi-kontradiksi ini, pada akhirnya, dipecahkan oleh penjelasan kuantum cahaya Einstein:
Energi cahaya ditransmisikan dalam paket-paket, dan energi setiap paket terkait dengan frekuensi.
Hla ingin melihat, sejauh mana GPT-1900 bisa memikirkan?
Kerja keras tidak akan mengkhianati usaha, GPT-1900 benar-benar mengeluarkan deskripsi semacam ini dalam satu jawaban, kurang lebih:
Cahaya mungkin tidak kontinu, tetapi terdiri dari banyak bagian yang terpisah satu sama lain dengan frekuensi berbeda.

Ini memang sangat mirip dengan penjelasan Einstein tentang energi yang ditransfer dalam paket-paket, dan Hla juga menggambarkannya sebagai "kilasan intuisi".
Tapi jangan terburu-buru menyerahkan hadiah Nobel.
Hla mengakui: GPT-1900 masih sangat jauh dari "menemukan kembali kuanta cahaya".
It failed on most physical tasks, and those seemingly breakthrough answers may merely be the model stitching together plausible phrases, without truly forming reliable physical understanding.

Apalagi, selama seluruh pengujian, Hla telah menyaring fenomena dan mengatur kontradiksi untuknya; yang perlu dilakukan model hanyalah menemukan asumsi mana yang mungkin salah dan memberikan penjelasan.
Ini jauh lebih mudah daripada ilmuwan yang harus mencari masalah dan menentukan arah sendiri.
Einstein dulu tidak ada yang menandai poin-poin penting untuknya.
Dan yang lebih merepotkan lagi, "tahun 1900" tempatnya berada tidak sepenuhnya tertutup:
Meskipun Hla membersihkan data untuk "otak tahun 1900" tersebut, ia tetap memanfaatkan bantuan AI modern Claude—menggunakan model seperti Claude Sonnet 4 dan Claude 3 Haiku untuk menghasilkan pertanyaan dan jawaban instruksi, serta mengandalkan penilaian model modern untuk pembelajaran penguatan.

△ Detail lebih lanjut dapat dilihat di tautan repositori di akhir artikel
Ini berarti bahwa, meskipun Hla menyaring konten yang melibatkan pengetahuan modern, "kamar tahun 1900" tersebut juga tidak sepenuhnya terisolasi dari pengetahuan modern.
Eksperimen sendiri juga mengakui dalam log: intervensi model modern membuat citra "tanpa kontaminasi" dari eksperimen ini agak sulit dipertahankan...
Setelah semua, para peneliti sulit membuktikan apakah GPT-1900 benar-benar telah melihat teori kuantum cahaya.
Artinya, sebelum mengevaluasi kreativitas AI, peneliti harus terlebih dahulu membuktikan satu hal: bahwa AI tidak mencontek jawabannya.
Jika hanya satu informasi masa depan bocor ke dalam kumpulan pelatihan, "penemuan ulang" bisa berubah menjadi pemulihan pengetahuan secara sembunyi-sembunyi.
Namun, bahkan jika di masa depan benar-benar dapat menciptakan model sejarah yang benar-benar tanpa polusi, masalah yang lebih mendasar tetap belum terpecahkan:
Hanya meniru jawaban yang benar, apakah itu cukup untuk menjadikan AI disebut ilmuwan?
The answer from researchers is no.
Setelah muncul ide-ide baru, seberapa jauh AI dari seorang ilmuwan?
Peneliti Google DeepMind, Tom Zahavy, dalam sebuah makalah posisi berjudul "LLMs Cannot Jump", membagi penalaran ilmiah menjadi tiga tingkatan.
Pertama adalah induksi: menyimpulkan pola dari sejumlah besar contoh.
Yang kedua adalah deduksi: berangkat dari premis yang sudah ada, menarik kesimpulan yang pasti.
Yang ketiga adalah abduksi: menghadapi sebuah fenomena yang tidak biasa, menciptakan penyebab atau penjelasan yang sebelumnya tidak ada.
Zahavy percaya bahwa model besar saat ini sudah sangat ahli dalam induksi dan juga cepat meningkatkan kemampuan deduktifnya, tetapi masih kekurangan "lompatan abduktif" ala Einstein.
Model dapat melanjutkan rantai logika yang sudah ada, tetapi sulit untuk mengembangkan kerangka penjelasan baru dari nol.

Judul sudah menjelaskan semuanya
Tidak hanya itu, Sendhil Mullainathan juga mengalami fenomena yang sama saat meneliti model dasar orbit planet:
Dalam misi orbit planet yang telah ditetapkan, model memprediksi dengan sangat logis; namun, ketika menghadapi skenario baru, ia tidak mampu menerapkan mekanika Newton secara generalisasi. Model ini lebih seperti membuat aturan sementara untuk setiap set data, tanpa bisa membedakan teori mana yang benar-benar valid dan layak diuji, dan mana yang hanya kebetulan sesuai dengan data saat ini.
Ini seperti seorang siswa yang menghafal semua jawaban soal ujian tahun-tahun sebelumnya, tetapi tidak pernah memahami prinsip dasar di balik soal-soal tersebut, sehingga ketika guru mengubah sedikit angka, ia tidak lagi bisa menjawab.

Ilmuwan komputer MIT Jacob Andreas secara tepat menunjukkan bahwa menghasilkan serangkaian pernyataan relativistik mungkin bukan bagian paling sulit, yang benar-benar sulit adalah apakah AI mampu menilai teori mana yang benar, atau setidaknya layak diuji secara eksperimen?
Setelah menghasilkan teori hanyalah langkah pertama, mengetahui teori mana yang layak dijadikan taruhan waktu, dana, dan karierlah yang bisa membuat AI menjadi ilmuwan sejati.
Selain itu, Andreas juga menekankan:
Bagaimana cara menilai apakah sebuah ide layak untuk dieksplorasi lebih dalam, dan bagaimana mengevaluasi pentingnya ide tersebut; inilah perbedaan terbesar antara AI dan ahli manusia.
Karena pekerjaan ilmiah yang sebenarnya bukanlah menjawab soal latihan yang sudah disusun, melainkan membuat keputusan sendiri di tengah kekacauan.
Mungkin suatu hari nanti, seiring perkembangan teknologi, AI benar-benar dapat melewati "Uji Einstein" dan menurunkan hasil setara relativitas;
Namun, sebelum mengumumkan "AI menjadi Einstein", AI setidaknya harus membuktikan satu hal kepada semua orang, yaitu:
Tanpa ada yang menyorotiinya, ia tetap bisa menemukan pertanyaan yang layak ditanyakan, menilai nilai pertanyaan tersebut, serta secara aktif memverifikasi dan memperbaikinya.
Kalau tidak, ia hanya akan selalu mengulangi pengetahuan yang sudah ada, bukan ilmuwan sejati.

Tautan referensi:
[1]https://www.nature.com/articles/d41586-026-02804-x?utm_source=x&utm_medium=social&utm_campaign=nature&linkId=63673104
[2]https://michaelhla.com/blog/machina-mirabilis.html
[3]https://github.com/michaelhla/gpt1900/blob/master/PROJ EC T_LOG.md#4-instruction-data-generation
[4]https://www.tomzahavy.com/files/llms-cant-jump.pdf
[5]https://arxiv.org/abs/2507.06952
[6]https://x.com/Nature/status/2099077628900565498
Artikel ini berasal dari akun WeChat "Quantum Bit", penulis: Wen Ting
