Bekas Penyelidik Utama di OpenAI: Penyelidikan AI Manusia Mungkin Digantikan Dalam Dua Tahun

Eh, dah dengar tak?

Hari-hari baik bagi penyelidik manusia hanya tinggal dua tahun sahaja.

Dua tahun kemudian, manusia mengkaji AI, sama seperti manusia bermain catur hari ini.

Anda tentu masih boleh menempatkan pesanan, tetapi tiada siapa pun peduli bagaimana anda menempatkan pesanan itu.

Ini adalah pernyataan terbaru yang dikeluarkan oleh Jerry Tworek, mantan pemimpin model inferensi OpenAI.

Dia masuk OpenAI pada tahun 2019 dan tinggal selama tujuh tahun. Pada masa itu, pembelajaran penguatan tidak dapat diskalakan sama sekali, tetapi dia terus mempertahankan dan mendorongnya hingga berjaya; dua senjata utama, o1 dan o3, dibangunkan di bawah kepimpinannya sendiri.

“Kami ingin menciptakan AGI.” Itu adalah seluruh peta jalan yang Ilya berikan dalam pertemuan seluruh staf pada tahun 2019 ketika dia baru masuk OpenAI. Tujuh tahun kemudian, dia keluar untuk memulai usahanya sendiri.

Yang lebih menakutkan ialah, perkataan ini bukan hanya dikatakan oleh seorang diri. Kini, jenaka dalaman yang paling popular di kalangan penyelidik AI ialah:

Kita hanya tinggal beberapa hari lagi untuk bekerja, mari kita lakukan sekarang selagi masih boleh, setelah selesai, mari kita bersama-sama bersantai dan pensiun.

Semua orang menceritakan ini sebagai humor gelap. Tetapi setiap orang yang menceritakan lelucon itu sebenarnya sangat faham.

Candaan ini, kemungkinan besar adalah kenyataan.

Dan ini baru saja pembuka. Sepanjang wawancara, dia mengucapkan ancaman demi ancaman:

• Agen memang mempunyai kreativiti, tetapi ia adalah kreativiti yang sangat rendah mutu dan dipenuhi dengan jumlah besar, idea-idea yang pelbagai tetapi secara umumnya sangat buruk.
• Di seluruh dunia, mungkin hanya tiga puluh hingga lima puluh orang yang benar-benar memahami pelatihan hingga pelaksanaan model canggih, sementara semua orang lain hanya membantu mereka.
• Menganggap Transformer sebagai penyelesaian terbaik adalah anggapan yang hampir tidak mungkin benar.
• Dalam tujuh tahun di OpenAI, jumlah kali yang benar-benar serius mencuba menukar arsitektur dasar hanyalah tiga hingga empat kali.
• Dunia tidak perlu bergantung pada kerja kita untuk berputar, anggapan ini sebenarnya tidak sah.

Berikut adalah versi yang telah disusun semula, Enjoy.

Angka dua tahun ini tidak berkaitan dengan skor prestasi, dan juga tidak berkaitan dengan kuasa pengiraan.

Dia menghitung berapa banyak tugas yang masih dilakukan oleh manusia dalam penyelidikan ini.

Dan pekerjaan ini sudah lama dipotong menjadi dua bahagian.

Satu bahagian adalah menghasilkan idea, memikirkan dengan jelas ke arah mana harus pergi. Bahagian lain adalah bekerja, mewujudkan idea menjadi kod yang boleh berjalan dan mengambil semula data.

Sementara itu, bahagian kerja telah hampir sepenuhnya diserahkan kepada Agen.

Tworek membuka syarikat bernama Core Automation pada April tahun ini, dengan slogan mencipta laboratorium AI paling automatik di dunia.

Di sana, satu siklus penuh eksperimen telah dipangkas daripada sebulan kepada sehari sahaja. Kecekapan meningkat sebanyak tiga puluh kali ganda!

Namun, agen sementara tidak dapat menerima bahagian cadangan ini. Sebabnya ialah—

They absolutely belong to the highly creative species.

Namun, mereka menghabiskan kreativiti dengan cara yang sangat rendah mutunya dan bertaburan dalam jumlah besar. Idea memang pelbagai, tetapi kebanyakannya sangat buruk.

Mendengar ini, bahagian memberi cadangan kelihatan masih stabil.

Orang yang benar-benar boleh memberi idea pun, tak banyak lagi yang tinggal.

Dalam temu bual, pengerusi mengungkap bahawa seorang penyelidik dalaman OpenAI telah berbagi maklumat dengannya—

Di seluruh dunia, mungkin hanya ada tiga puluh hingga lima puluh orang yang benar-benar memahami bagaimana melatih dan menghuraikan model canggih secara end-to-end.

Semua orang yang tinggal berkhidmat kepada puluhan otak ini, termasuk kebanyakan pekerja tetap di syarikat paling hebat itu.

Tworek tidak membantah.

Dia juga merasa bahawa semua pasukan teratas bergerak dengan cara yang sama: beberapa orang sahaja menentukan arah, sementara di belakang mereka menarik mesin pelaksanaan yang berderu-deru.

Untuk mengetahui seberapa dicari orang-orang ini, cukup lihat senarai perekrutan dia sendiri.

Rohan Anil, salah seorang penubuh Core Automation, sebelum ini bekerja di Anthropic dan lebih awal lagi di Google DeepMind.

Anmol Gulati, yang pernah bekerja di DeepMind pada Gemini, juga telah ditarik ke sana. Bahkan Julia Villagra, mantan pemimpin sumber daya manusia di OpenAI, juga ikut pindah.

Semua laboratorium mencari orang dari kolam yang sama. Dan kolam ini, hanya ada beberapa puluh ikan sahaja.

Jadi angka dua tahun ini tidak berkaitan dengan umat manusia secara keseluruhan.

Berapa lama lagi orang-orang ini boleh bertahan.

Kerana hanya tinggal beberapa puluh orang, apakah dinding terakhir yang menghalang AI?

Jawapan Tworek hanya satu perkataan, Transformer.

Menurutnya, perkara ini hampir tidak mungkin menjadi penyelesaian terbaik.

Pertama, model tidak boleh terus belajar selepas diperlengkapi. Seberapa banyak pun anda berbual dengannya, ia tidak akan menjadi lebih kuat, dan dalam perbualan seterusnya, ia masih tetap sama seperti sebelumnya. Tetingkap konteks juga tidak mampu menampungnya; ia mengatakan bahawa dengan menggunakan Codex selama dua puluh minit, ia perlu mampatkan semula.

Kedua, jika cuba memperbaiki dengan penyesuaian kecil yang berterusan, anda akan mendapati bahawa ia tidak hanya sangat tidak cekap, tetapi juga menyebabkan lupa bencana—apabila mempelajari yang baru, anda melupakan yang lama.

Jadi, selama beberapa tahun ini, sebahagian besar usaha industri yang berpusat pada Transformer sebenarnya adalah untuk menjadikannya lebih murah, sedangkan sedikit orang yang benar-benar menjadikannya lebih kuat.

Namun, apa yang sebenarnya diinginkan oleh Tworek bukanlah pada arsitektur itu sendiri.

Dia memerlukan model yang boleh terus belajar semasa masa ujian, model yang boleh terus berkembang daripada interaksi pengguna dan data pengguna. Menukar arsitektur hanyalah cara untuk mencapai perkara itu.

Tidak ada siapa pun dalam industri yang tidak memahami prinsip-prinsip ini. Tetapi mengapa selama bertahun-tahun, Transformer masih berdiri tegak?

Sebabnya ringan sehingga agak konyol—hampir tidak pernah mencuba.

Dalam masa tujuh tahun di OpenAI, hanya ada tiga hingga empat kali cubaan serius untuk menggantikan arsitektur asas.

Prosesnya adalah seperti ini.

Penyelidik terlebih dahulu menulis eksperimen pengesahan berskala kecil, dan menjalankannya selama sekurang-kurangnya tiga bulan. Hanya apabila keputusannya kelihatan baik, mereka baru berani memperbesar skala.

Dan yang dimaksud dengan penguatan ialah anda harus menggunakan keahlian berbicara anda untuk meyakinkan kira-kira sepuluh orang yang memiliki kuasa hidup dan mati, kemudian sepuluh orang ini akan mengalokasikan tiga hingga enam bulan dana ke dalam lubang tanpa dasar anda.

Akhirnya, ia akan dihancurkan oleh momentum yang telah berubah menjadi bola salji oleh Transformer, atau diserap sebahagiannya dan menjadi sebatang skru pada dirinya.

Tujuh tahun, tiga atau empat kali. Ini adalah seluruh kapasiti mereka dalam inovasi arsitek pada makmal AI terkuat di dunia.

"Jare, ambil kekuatan pengiraan ini untuk dibakar"

Dia sendiri pernah mengalami kebuntuan yang sama persis di OpenAI. Dan yang membukanya adalah satu kalimat.

Pada masa itu, eksperimen yang hampir mati itu akhirnya menunjukkan sedikit tanda kehidupan. Tidaklah baik, tetapi sekurang-kurangnya ada tanda permulaan.

Pada saat yang tepat itu, Jakub Pachocki, yang kemudian menjadi Ketua Saintis OpenAI, mendekatinya.

"Jare, semua GPU ini untukmu, lihatlah sama ada kamu boleh membuat keputusanmu lebih besar dan lebih tegas."

“Kini anda mempunyai GPU ini.” Ketika dia mengulangi kalimat ini, o1 belum mempunyai nama

Kalimat ini menariknya keluar dari paradoks—

Anda mesti menghasilkan hasil terlebih dahulu sebelum layak meminta kuasa pengiraan.

Tetapi anda jelas perlu mempunyai daya pengiraan itu terlebih dahulu sebelum dapat menghasilkan hasilnya.

Tworek mengatakan bahawa kebanyakan arah terkini terperangkap dalam paradoks ini. Perang rahsia di laboratorium untuk merebut kekuatan pengiraan pada akhirnya semuanya mencari jalan keluar.

Dan eksport, kadang-kadang hanya sebegitu sahaja dari pimpinan Titik titik Confidence.

Cukuplah jika ada seseorang di atas yang berkata, saya harap kamu mendapat kuasa pengiraan yang patut untuk benar-benar menyerangnya.

Begitu pintu dibuka, yang seterusnya tidak boleh dihentikan.

Pembelajaran penguatan bermula dari nod ini dan melangkau beberapa peringkat.

Kemudian, kelahiran o1, jalan yang telah dinyatakan mati oleh ribuan orang bagi model penalaran, berjaya dihidupkan semula olehnya.

Seratus ribu dolar AS, setara dengan seorang pakar

Dan kali ini, dia tidak perlu menunggu siapa pun untuk berbicara.

Bahagian paling mahal dalam keseluruhan rantai ialah menterjemahkan idea abstrak menjadi kod yang boleh berjalan secara nyata. Dan inilah tepatnya tugas yang dilakukan oleh Agent hari ini dengan paling cemerlang.

Sebagai contoh, Core Automation pernah menggunakan pendekatan ini untuk menguasai teras GPU.

Secara khusus, mereka memberikan kernel QR decomposition kepada agen pemrograman untuk dijalankan selama empat minggu, menghabiskan kira-kira seratus ribu dolar AS dalam kos panggilan, dan akhirnya meningkatkan kelajuan kernel tersebut sebanyak enam puluh kali ganda.

Ini adalah kerjaan kejuruteraan prestasi aras bawah, yang memfokuskan pada cara menjalankan operasi matriks lebih pantas di kad grafik, biasanya memerlukan pakar sedikit sahaja untuk menyesuaikan baris demi baris secara manual.

Namun, pakar seperti ini tidak banyak di seluruh dunia.

Sekarang, sepuluh ribu dolar AS sudah cukup untuk menggantikannya. Ia tidak perlu dipercayai, dan tidak memerlukan tiga hingga enam bulan.

Pintu yang terkunci selama tujuh tahun akhirnya terbuka.

Walaupun arsitektur yang paling sukar dipecahkan pun telah longgar, maka roda kemudi yang dipegang oleh puluhan orang itu juga tidak akan lama lagi.

Pada akhir temu bual, pembawa acara menanyakan secara terus terang kepadanya, apakah yang masih boleh dilakukan apabila hari itu benar-benar tiba.

Untuk ini, Tworek menggambarkan dua gambar.

Gambar pertama adalah Yunani kuno.

Orang-orang berkumpul di alun-alun, berbincang-bincang tentang falsafah dengan tenang sepanjang hari, kemudian pergi berolahraga, makan zaitun, dan minum anggur.

Dia sendiri baru saja menggambarkannya lalu tertawa, mengakui bahwa ini mungkin hanya mencerminkan keinginannya sendiri.

“Kita bertemu di alun-alun, lalu bercakap-cakap.” Dia mengucapkan perkataan asli yang menggambarkan kehidupan harian manusia selepas era AGI, lalu tertawa sendiri.

Gambar kedua adalah sekolah menengah, atau universiti.

Dia percaya seseorang harus terus mengejar "kecemerlangan" itu sendiri. Terus belajar hal-hal baru dengan rakus, melatih tubuh dan otak hingga batas maksimum.

Ini sedikit seperti sukan profesional, tiada sebab ekonomi yang memaksa anda untuk berpeluh dan berdarah, tetapi kebanggaan dalaman manusia ialah untuk mencapai sesuatu yang dipanggil 'kehebatan'.

Kita perlu mencari pelbagai cara untuk melakukan perkara ini.

Kerana di dunia seterusnya, tidak akan ada lagi perkara seperti "jika kamu tidak melakukannya, dunia ini akan runtuh". Dunia akan terus berjalan sendiri di atas infrastruktur yang telah kita bina.

“Kita harus terus belajar.” Dia mengatakan perkara ini seolah-olah ia merupakan satu kewajiban, bukan sekadar hiburan.

Kemudian dia dengan tenang membuka kartu tersembunyinya.

Kita mesti bekerja supaya dunia ini berjalan. Anggapan ini sama sekali tidak perlu benar.

“Banyak orang mendapatkan nilai diri mereka dari pekerjaan.” Dia mengakui bahawa ini adalah rintangan paling sukar untuk dilalui, termasuk baginya sendiri

Sejujurnya, setelah mendengar keseluruhan percakapan, yang paling membuat hati merasa tidak tenang bukanlah dua tahun itu.

Dia sendiri juga tahu bahawa dia sedang mempercepatkan penghitungan mundur ini.

Benda yang ingin dia ciptakan, secara definisi, mampu belajar sendiri dan menjadi lebih kuat tanpa perlu orang lain berada di samping untuk memberi makan. Setelah diciptakan, posisi puluhan orang akan hilang lebih cepat.

Dan dia masih ada satu pernyataan yang lebih tegas, yang pertama dihukum ialah dirinya sendiri.

Jika anda bukan laboratorium dengan penyimpanan hashrate paling menakutkan dan skala terbesar, anda akan mati dengan cara yang sangat buruk.

Pada masa mengucapkan perkataan ini, Core Automation baru sahaja ditubuhkan selama empat bulan, dengan pendapatan buku kosong.

Dia mengatakan bahawa sejak memulakan perniagaan, hampir setiap minggu ada orang datang memberitahunya, "Jare, terlambat sudah, tangga ke langit itu sudah ditarik kembali."

Responsnya hanya satu kalimat peribahasa sendiri.

Orang-orang syarikat kami paling suka kata, semuanya adalah isu kemahiran.

Yang diterjemahkan ialah, jangan salahkan persekitaran umum apabila gagal sehingga akhir, salahkan diri sendiri kerana teknik anda terlalu lemah.

Jangan katakan, perkataan ini benar-benar mempunyai rasa tertentu dalam temu bual ini.

Lihat semula ayat meme popular di awal.

Kita hanya tinggal beberapa hari lagi untuk bekerja, jadi lakukan secepatnya selagi masih boleh.

Tidak diketahui sama ada nada itu penuh kegembiraan atau kesedihan.

Kerana bagi orang yang mengatakan itu, dua perasaan itu sebenarnya satu dan sama.

Tworek mengatakan, ritme dalam bidang ini sangat melelahkan, setelah bertahun-tahun melakukan ini, benar-benar sangat, sangat lelah.

Tetapi jika kita benar-benar percaya, ini adalah masa paling penting dalam karier kita selama ini.

Itu mungkin sangat berbaloi.

Rujukan:

https://x.com/MTSlive/status/2092387349623935322

Artikel ini berasal dari akaun WeChat "Sinzhiyuan", penulis: Revelation of ASI, penyunting: Musa