Peneliti Inti Mantan OpenAI: Penelitian AI Manusia Mungkin Digantikan Dalam Dua Tahun

Hei, udah dengar kabarnya?

Hari-hari baik bagi peneliti manusia hanya tersisa dua tahun saja.

Dua tahun lagi, manusia meneliti AI, sama seperti manusia bermain catur hari ini.

Anda tentu masih bisa menaruh pesanan, tapi sama sekali tidak ada yang peduli seberapa baik pesanan Anda.

Ini adalah pernyataan terbaru yang dilemparkan oleh Jerry Tworek, mantan pemimpin model inferensi OpenAI.

Dia masuk OpenAI pada tahun 2019 dan tetap di sana selama tujuh tahun. Saat itu pembelajaran penguatan sama sekali tidak bisa diskalakan, tetapi dia terus mempertahankannya dan mendorongnya maju dengan keras. Dua senjata utama, o1 dan o3, dibuat langsung di bawah kepemimpinannya.

“Kami ingin membuat AGI.” Itu adalah seluruh peta jalan yang Ilya berikan di pertemuan seluruh karyawan saat ia bergabung dengan OpenAI pada tahun 2019. Tujuh tahun kemudian, ia memutuskan untuk berdiri sendiri.

Yang lebih menakutkan, ucapan ini bukan hanya datang dari satu orang. Saat ini, lelucon internal paling populer di kalangan peneliti AI adalah:

Kita hanya punya beberapa hari kerja tersisa, jadi manfaatkan sekarang selagi masih bisa bekerja, setelah selesai mari kita pensiun bersama dan istirahat.

Semua orang mengulang-ulang ini sebagai lelucon gelap. Tapi setiap orang yang bercanda tahu persis apa yang sebenarnya terjadi.

Lelucon ini, kemungkinan besar adalah kenyataan.

Dan ini baru merupakan pembuka. Dalam seluruh wawancara, dia mengucapkan ancaman semacam itu satu demi satu:

• Agen memang kreatif, tetapi itu adalah jenis kreativitas yang sangat buruk dan ditumpuk secara berlebihan, dengan ide-ide yang beragam namun pada umumnya buruk sekali
• Hanya sekitar tiga puluh hingga lima puluh orang di seluruh dunia yang benar-benar memahami pelatihan hingga peluncuran model mutakhir, sementara semua orang lainnya hanya membantu mereka.
• Menganggap Transformer sebagai solusi optimal hampir tidak mungkin benar
• Selama tujuh tahun di OpenAI, hanya tiga hingga empat kali secara serius mencoba mengganti arsitektur dasar.
• Dunia tidak harus bergantung pada pekerjaan kita agar bisa berjalan, premis ini sebenarnya tidak valid.

Berikut adalah versi yang telah disusun, Nikmati.

Angka dua tahun ini tidak terkait dengan skor performa, juga tidak terkait dengan daya komputasi.

Dia menghitung berapa banyak pekerjaan yang masih dilakukan oleh manusia dalam penelitian ini.

Dan pekerjaan ini sudah lama dibagi menjadi dua bagian.

Satu bagian adalah merumuskan ide, memikirkan ke mana arah yang harus diambil. Bagian lainnya adalah bekerja, mengubah ide menjadi kode yang bisa dijalankan dan mengambil data kembali.

Sedangkan bagian yang berhubungan dengan pekerjaan, sudah hampir sepenuhnya dialihkan ke Agent.

Tworek membuka perusahaan bernama Core Automation pada April tahun ini, dengan slogan menciptakan laboratorium AI paling otomatis di dunia.

Di sana, siklus penuh sebuah eksperimen langsung dipersingkat dari satu bulan menjadi satu hari. Efisiensi meningkat hingga tiga puluh kali lipat!

Namun, untuk bagian memberikan saran, agen sementara belum dapat menerimanya. Alasannya—

They absolutely belong to the most creative species.

Namun mereka menghabiskan kreativitas dengan cara yang sangat buruk dan berlebihan. Ide-idenya memang beragam, tetapi secara umum sangat buruk.

Dengar seperti ini, bagian memberikan saran sepertinya masih stabil.

Namun, orang-orang yang benar-benar bisa memberikan ide pun tidak tersisa banyak.

Dalam wawancara, host mengungkapkan bahwa seorang peneliti internal OpenAI telah berbagi informasi dengannya—

Di seluruh dunia, mungkin hanya ada tiga puluh hingga lima puluh orang yang benar-benar memahami bagaimana melatih dan mendeploy model mutakhir secara end-to-end.

Semua orang lainnya melayani puluhan otak ini, termasuk sebagian besar karyawan tetap dari perusahaan paling keren sekalipun.

Tworek tidak membantah.

Dia juga merasa bahwa semua tim teratas bergerak seperti ini: beberapa orang saja yang menentukan arah, sementara di belakang mereka menarik seluruh mesin eksekusi yang berisik.

Untuk mengetahui seberapa diminatnya puluhan orang ini, cukup lihat daftar rekrutmen mereka sendiri.

Co-founder Core Automation, Rohan Anil, berasal dari Anthropic, sebelumnya di Google DeepMind.

Anmol Gulati, yang pernah bekerja di DeepMind pada proyek Gemini, juga telah direkrut. Bahkan Julia Villagra, mantan kepala sumber daya manusia di OpenAI, juga ikut bergabung.

Semua laboratorium sedang menangkap orang dari kolam yang sama. Dan kolam ini, hanya ada puluhan ikan saja.

Jadi angka dua tahun ini tidak ada hubungannya dengan seluruh umat manusia.

Berapa lama lagi orang-orang ini bisa bertahan.

Karena manusia hanya tersisa puluhan, dinding terakhir yang menghalangi AI adalah apa?

Jawaban Tworek hanya satu kata, Transformer.

Menurutnya, hal ini hampir tidak mungkin menjadi solusi optimal.

Pertama, model tidak bisa terus belajar setelah dideploy. Seberapa banyak pun Anda berbicara dengannya, ia tidak akan menjadi lebih kuat, dan dalam percakapan berikutnya, ia tetaplah dirinya yang sama. Jendela konteks juga tidak mampu menahan beban; ia mengatakan bahwa dengan menggunakan Codex selama sekitar dua puluh menit, ia harus melakukan kompresi sekali.

Kedua, jika ingin mengandalkan penyesuaian kecil yang berkelanjutan untuk memperbaiki, Anda akan menemukan bahwa efisiensinya sangat rendah dan akan mengalami amnesia bencana, di mana saat mempelajari yang baru, Anda melupakan yang lama.

Jadi selama beberapa tahun terakhir, sebagian besar upaya industri seputar Transformer sebenarnya berfokus pada membuatnya lebih murah, sangat sedikit yang benar-benar berusaha membuatnya lebih kuat.

Namun, apa yang sebenarnya diinginkan Tworek tidak ada pada arsitektur itu sendiri.

Dia menginginkan model yang dapat terus belajar selama waktu pengujian, model yang dapat terus berkembang dari interaksi pengguna dan data pengguna. Mengganti arsitektur hanyalah sarana untuk mencapai hal tersebut.

Tidak ada yang tidak mengerti prinsip-prinsip ini di industri ini. Tapi mengapa selama bertahun-tahun, Transformer tetap berdiri kokoh?

Alasannya sederhana sampai terdengar konyol—hampir tidak pernah mencoba.

Dalam tujuh tahun di OpenAI, hanya ada tiga hingga empat kali upaya serius untuk mengganti arsitektur dasar.

Prosesnya seperti ini.

Peneliti terlebih dahulu membuat eksperimen verifikasi skala kecil, menjalankannya setidaknya selama tiga bulan. Hanya setelah hasilnya tampak baik, mereka baru berani memperbesar skala.

Dan yang dimaksud dengan penguatan adalah Anda harus meyakinkan sekitar sepuluh orang yang memiliki kekuasaan hidup dan mati dengan kemampuan berbicara Anda, lalu sepuluh orang ini akan menginvestasikan tiga hingga enam bulan ke dalam lubang tak berdasar Anda.

Akhirnya, either hancur oleh momentum bola salju yang sudah lama dibentuk oleh Transformer, atau sebagian diserap dan menjadi sekrup di tubuhnya.

Tujuh tahun, tiga hingga empat kali. Ini adalah seluruh kapasitas inovasi arsitektur dari laboratorium AI terkuat di dunia.

"Jare, ambil hashrate ini untuk dibakar"

Dia sendiri pernah mengalami kebuntuan yang persis sama di OpenAI. Dan yang membukanya adalah satu kalimat.

Pada saat itu, eksperimen yang hampir mati itu berhasil menunjukkan sedikit tanda kehidupan. Tidak bisa disebut baik, tapi setidaknya sudah ada tanda awal.

Pada saat itulah, Jakub Pachocki, yang kemudian menjabat sebagai ilmuwan utama OpenAI, menemukannya.

"Jare, semua GPU ini untukmu, lihat apakah kamu bisa memperbesar dan memperkuat hasil yang kamu miliki."

“Sekarang kamu memiliki GPU-gen GPU ini.” Saat ia mengulangi kalimat ini, o1 belum memiliki nama.

Kalimat ini menariknya keluar dari paradoks—

Anda harus menunjukkan hasil terlebih dahulu sebelum berhak meminta daya komputasi.

Tapi Anda jelas harus memiliki daya komputasi itu terlebih dahulu untuk menghasilkan hasilnya.

Tworek mengatakan bahwa sebagian besar arah terdepan terjebak dalam paradoks ini. Pertempuran rahasia di laboratorium untuk merebut daya komputasi pada akhirnya semua berusaha mencari jalan keluar.

Dan ekspor, terkadang hanya seberapa jauh kepemimpinan itu Klik Confidence.

Selama ada yang berbicara dari atas, mengatakan saya harap kamu mendapatkan kuota daya komputasi yang layak untuk benar-benar memaksakannya. Itu sudah cukup.

Begitu pintu dibuka, yang berikutnya tidak bisa dihentikan.

Reinforcement learning mulai dari titik ini melampaui beberapa orde besar.

Kemudian, kelahiran o1, jalan model inferensi yang telah dianggap mati oleh banyak orang, berhasil dihidupkannya.

Seratus ribu dolar AS, setara dengan seorang ahli

Dan kali ini, dia tidak perlu menunggu siapa pun memberi perintah.

Tahap paling boros biaya di seluruh rantai adalah menerjemahkan ide abstrak menjadi kode yang dapat berjalan secara nyata. Dan inilah yang precisely dilakukan paling baik oleh Agent saat ini.

Misalnya, Core Automation pernah menggunakan pendekatan ini untuk menyerang inti GPU.

Secara khusus, mereka memberikan kernel QR decomposition kepada agen pemrograman untuk dijalankan selama empat minggu, menghabiskan biaya pemanggilan sekitar seratus ribu dolar AS, dan akhirnya meningkatkan kecepatan kernel tersebut hingga enam puluh kali lipat.

Ini adalah pekerjaan teknik kinerja dasar, yang berfokus pada cara mempercepat operasi matriks di GPU, biasanya memerlukan penyesuaian manual baris demi baris oleh sejumlah kecil ahli.

Dan ahli semacam itu, di seluruh dunia pun tak banyak.

Sekarang sepuluh ribu dolar sudah cukup untuk menggantikannya. Tidak perlu meyakinkan, dan tidak perlu waktu tiga hingga enam bulan.

Batas yang telah terhambat selama tujuh tahun akhirnya tembus.

Bahkan arsitektur paling sulit sekalipun sudah mulai goyah, maka kendali yang dipegang oleh puluhan orang pun tidak akan bertahan lama.

Di akhir wawancara, host secara terbuka menanyakan kepadanya, ketika hari itu benar-benar tiba, apa yang masih bisa dilakukan manusia.

Untuk ini, Tworek menggambarkan dua gambar.

Gambar pertama adalah Yunani kuno.

Orang-orang berkumpul di alun-alun, berbincang-bincang santai tentang filsafat sepanjang hari, lalu pergi berolahraga, makan zaitun, dan minum anggur.

Dia baru saja menggambarkannya dan tertawa, mengakui bahwa ini mungkin hanya proyeksi dari keinginannya sendiri.

“Mari kita bertemu di alun-alun, lalu ngobrol.” Dia mengutip perkataan aslinya tentang kehidupan sehari-hari manusia pasca-AGI, lalu tertawa sendiri.

Yang kedua adalah SMA, atau universitas.

Dia merasa seseorang harus mempertahankan pencarian terhadap "keunggulan" itu sendiri. Teruslah secara serakah mempelajari hal-hal baru, dan latih tubuh serta pikiran hingga batas maksimal.

Ini sedikit seperti olahraga profesional, tidak ada alasan ekonomi yang memaksa Anda untuk berjuang dan berkeringat, tetapi kebanggaan bawaan manusia adalah mengejar sesuatu yang disebut "kehebatan".

Kita harus menemukan berbagai cara untuk melakukannya.

Karena di dunia berikutnya, tidak akan ada lagi hal-hal seperti "jika kamu tidak melakukannya, dunia ini akan runtuh". Dunia akan terus berjalan sendiri di atas infrastruktur yang sudah kita bangun.

“Kita harus terus belajar.” Dia mengatakan hal ini seolah-olah itu adalah kewajiban, bukan hiburan.

Kemudian dia dengan tenang membuka kartu tersembunyinya.

Kita harus bekerja agar dunia ini berjalan. Asumsi ini sama sekali tidak perlu benar.

“Banyak orang mendapatkan nilai diri mereka dari pekerjaan.” Dia mengakui bahwa ini adalah hambatan terberat yang harus dilalui, termasuk baginya sendiri.

Sejujurnya, setelah mendengarkan seluruhnya, yang paling membuat hati merinding bukanlah dua tahun itu.

Dia sendiri juga tahu bahwa dia sedang menginjak gas pada hitungan mundur ini.

Hal yang ingin dia buat didefinisikan sebagai sesuatu yang bisa belajar sendiri dan menjadi lebih kuat, tanpa perlu lagi orang harus berada di samping untuk memberi makan. Ketika selesai, posisi puluhan orang akan hilang lebih cepat.

Dan dia masih punya satu kalimat yang lebih tajam: dirinya sendiri yang pertama kali dihukum.

Jika kamu bukan laboratorium dengan cadangan hashrate paling menakutkan dan skala terbesar, kamu akan mati dengan cara yang sangat buruk.

Pada saat mengatakan ini, Core Automation baru berdiri selama empat bulan, dengan pendapatan nol di neraca.

Dia mengatakan bahwa sejak memulai bisnisnya, hampir setiap minggu ada saja yang datang kepadanya dan berkata, "Jare, terlambat, tangga menuju surga sudah ditarik kembali."

Responsnya hanya satu kalimat motto pribadinya.

Orang-orang di perusahaan kami paling suka mengatakan, semuanya adalah masalah keterampilan.

Artinya adalah, jika gagal sampai akhir, jangan salahkan lingkungan umum, seluruhnya salah karena teknismu terlalu lemah.

Jangan bilang, kalimat ini benar-benar punya nuansa tertentu dalam wawancara ini.

Lihat kembali kalimat meme populer di awal.

Kita hanya punya beberapa hari kerja tersisa, jadi manfaatkan sekarang selagi masih bisa.

Kami tidak tahu apakah nada itu penuh kegembiraan atau kesedihan.

Karena bagi orang yang mengatakan itu, dua emosi itu sebenarnya sama saja.

Tworek mengatakan, ritme pekerjaan ini sangat melelahkan, setelah bertahun-tahun melakukannya, benar-benar sangat, sangat lelah.

Tetapi jika kita benar-benar percaya, ini adalah waktu paling penting dalam sepanjang karier kita.

Itu mungkin sangat berharga.

Referensi:

https://x.com/MTSlive/status/2092387349623935322

Artikel ini berasal dari akun WeChat "Sinzhiyuan", penulis: ASI Revelation, editor: Musa