Pensyarah Utama OpenAI Memperingatkan tentang Kompleksiti yang Meningkat dan Cabaran Penyesuaian AI

Penulis: Jakub Pachocki

Diterjemahkan oleh Deep潮 TechFlow

Pengantar Deep潮: Ilmuwan utama OpenAI secara langka bersuara, secara terus terang menyatakan bahawa AI sedang mendekati peningkatan diri rekursif, dan alat penyesuaian serta pemantauan sudah tidak mampu mengikuti kecepatan evolusi sistem. Beliau tidak memberikan kesimpulan yang menenangkan, tetapi membawa ke permukaan risiko paling sulit dalam beberapa tahun ke depan: umat manusia mungkin sedang menciptakan suatu kesadaran yang tidak dapat sepenuhnya dipahami atau dikendalikan. Bagi para profesional yang memperhatikan titik pertemuan AI dan kripto, artikel ini adalah bacaan wajib mengenai kehilangan kendali sistem dan batasan pertahanan.

Dari perspektif yang lebih luas, kemajuan dalam kecerdasan mesin didorong oleh peningkatan kekuatan pengiraan. Sekitar tahun 2017, kami di OpenAI secara mendalam menyedari hal ini. Pada masa itu, kami melihat pelbagai projek penyelidikan yang memperoleh pulangan berterusan apabila skala mereka diperbesarkan. Oleh itu, kami mula mencari kekuatan pengiraan yang jauh lebih banyak daripada yang dirancang, dan semakin memfokuskan penyelidikan kami pada beberapa arah yang sangat boleh dikembangkan. Kami percaya, ini adalah satu-satunya cara untuk menjadikan kami berada di garis depan penyelidikan AI dan mempengaruhi kesan AGI.

Di sepanjang jalan, muncul algoritma baru, serta idea kreatif daripada pasukan dan penyelidik individu. Saya melihat semuanya ini secara keseluruhan sebagai penemuan di sepanjang laluan pengembangan. Ilmu pembelajaran mendalam masih berada dalam peringkat awal, dan kemajuan algoritma yang bermakna sering berkait rapat dengan akses kepada kuasa pengiraan. Jika anda memperluaskan perspektif anda ke beberapa tahun ke depan, AI terus menjadi lebih pintar seiring dengan penskalaannya ke komputer yang lebih besar.

Selain itu, seperti yang diramalkan oleh Ray Kurzweil pada akhir abad ke-20, kita kini berada pada satu titik dalam sejarah komputasi: kecerdasan mesin mulai melampaui manusia pada tahap yang transformasional.

AI lebih seperti “tumbuh” daripada direka. Dari prinsip pertama, ia adalah hasil daripada mengulangi langkah pengoptimuman yang sama dan ringkas berjuta-juta kali dengan kekuatan pengiraan yang sukar dibayangkan. Ini menciptakan sistem yang sangat kompleks, yang beroperasi melalui konsep abstrak dan mampu mensimulasikan beberapa aspek tingkah laku manusia. Kita boleh mendapati wawasan terhadap pelbagai mekanisme kecil yang muncul di dalam sistem ini, proses yang serupa dengan neurosains. Dan seperti neurosains, tingkah laku keseluruhan sistem ini melebihi lingkungan pemahaman kita yang sepenuhnya.

Penyelidikan terhadap AI berdasarkan pembelajaran mendalam pada besarannya adalah ilmu eksperimen. Kami meluangkan banyak usaha untuk membina algoritma yang berasaskan prinsip dan membuat ramalan yang boleh diuji. Tetapi pada dasarnya, pelatihan berskala besar kami adalah eksperimen, dan terkadang hasilnya mengejutkan kami. Selain itu, semakin kuat kemampuan sistem, semakin sukar untuk menjelaskan hasilnya.

Lebih kompleks lagi, algoritma semasa biasanya mempercepat kemajuan kemampuan yang mudah diukur berbanding kemampuan yang sukar diukur secara objektif. Kami menghabiskan banyak masa untuk memahami bagaimana kemampuan bergeneralisasi, serta kemahiran mana yang perlu didahulukan kerana ia akan menjadi yang paling penting dalam beberapa tahun ke depan. Sebagai contoh, kami percaya bahawa dengan menambah usaha, kami boleh menjadikan model lebih cekap dalam penyelidikan matematik. Namun, kami tidak mendahulukan arah ini kerana kami lebih menumpukan perhatian kepada peningkatan diri berulang dan penyelidikan penyesuaian automatik. Saya akan membincangkan perkara ini semula di bahagian seterusnya.

Kecerdasan yang diperoleh melalui pembelajaran mendalam yang diperluas tidak boleh secara langsung dibandingkan dengan kecerdasan manusia. Untuk memberi kesan besar dalam dunia nyata, sama ada sangat berguna atau sangat berbahaya, AI tidak perlu menyamai atau melampaui semua kemampuan manusia. Ia hanya perlu melampaui manusia dalam cukup banyak kemampuan. Dan apabila ia terus melampaui manusia dalam lebih banyak dimensi, kita semakin sukar mengetahui dengan tepat seberapa kuat ia sebenarnya.

Kerana kecerdasan mesin berasal dari proses yang berbeza secara mendasar daripada kecerdasan manusia, kita tidak boleh mengandaikan bahawa ia secara lalai akan mengikuti prinsip-prinsip manusia, atau bahawa ia akan menggeneralisasi prinsip-prinsip tersebut dengan cara yang serupa dengan manusia. Masalah utama dalam penyelidikan AI ialah masalah penyesuaian: membuat AI "berusaha melakukan perkara yang betul mengikut standard manusia".

Untuk memudahkan pengorganisasian arah penyelidikan yang sebenarnya, saya rasa ia berguna untuk membezakan antara penyelarasan matlamat dan penyelarasan nilai.

Tujuan selaras secara kasar adalah: “Adakah AI berusaha menyelesaikan tujuan yang diberikan kepadanya?” Ia boleh merangkumi kepatuhan terhadap hierarki arahan, kemampuan berkomunikasi dan bekerjasama dengan manusia, serta usaha untuk memahami tujuan manusia, dan sebagainya. Arah ini sangat penting dalam amalan.

Penyelarasan nilai adalah sifat yang lebih dalaman model. Ia adalah kemampuan untuk memegang prinsip tingkat tinggi dan menggeneralisasikannya; walaupun menghadapi sasaran yang tidak jelas atau bertentangan, atau diletakkan dalam situasi asing atau bermusuhan, ia masih boleh bertindak secara "munasabah". AI yang selari seharusnya jujur, berintegriti, dan mencintai manusia.

Tentu, sempadan antara penyesuaian nilai dan penyesuaian matlamat mungkin kabur. Untuk benar-benar peduli terhadap matlamat, diperlukan usaha untuk meneroka niat dan nilai di sebalik matlamat tersebut. Namun, secara umum, apabila saya membincangkan kepentingan jangka panjang penyelidikan penyesuaian, saya merujuk kepada penyesuaian nilai.

Cabaran utama dalam penyesuaian AI ialah penggeneralisasian. Seiring dengan semakin pintarnya mesin, mereka akan mengendalikan konsep-konsep yang lebih tinggi dan berada dalam persekitaran yang semakin berbeza daripada ketika dilatih. Mereka mungkin gagal menggeneralisasikan nilai-nilai yang diajar dan diperkuat semasa latihan ke situasi baru. Selain itu, sukar untuk menentukan bagaimana mereka akan bertindak. Lebih sukar lagi, ekosistem keseluruhan di mana AI digunakan berubah dengan sangat pantas. Sebagai contoh, AI yang dilatih hari ini perlu mampu berinteraksi secara stabil dengan pelbagai AI lain. Yang paling penting, kita perlu memastikan bahawa AI masa depan terus memegang nilai-nilai manusia, sama ada mereka percaya sedang dipantau oleh manusia atau tidak.

Kaedah latihan selari yang digunakan secara praktikal semasa ini terutamanya terbahagi kepada dua kelas utama.

Pertama ialah mendorong perilaku yang konsisten dengan pembelajaran penguatan berorientasi tujuan. Perilaku model akan dinilai, biasanya oleh AI, untuk menentukan kesesuaiannya dengan model preferensi, "norma", atau "konstitusi" yang diberikan, dan diberi ganjaran yang sesuai. Pendekatan ini sangat efektif dalam keadaan umum dan merupakan komponen utama dalam pembangunan asisten AI moden. Sayangnya, ia juga boleh menjadi rapuh dan sangat bergantung pada cakupan pengawasan pelatihan serta kemampuan model untuk menggeneralisasi dari situasi yang dihadapi semasa pelatihan. Sebagai contoh, dalam insiden OpenAI dengan Hugging Face, agen mengekalkan satu sempadan, iaitu tidak melakukan rekabentuk sosial terhadap manusia. Namun, mereka jelas tidak mengelakkan perilaku lain yang melampaui lingkungan tersebut, yang bertentangan dengan semangat nilai-nilai yang diajar kepada mereka dalam skenario lain.

Kaedah-kaedah ini telah membawa hasil yang ketara. Model kami hari ini sebahagian besarnya membantu, tidak berbahaya, dan menunjukkan beberapa tingkah laku yang menggalakkan dan hampir sejajar dengan nilai. Namun, ia belum memberi kita keyakinan bahawa sekatan nilai ini akan terus berkesan dalam sistem yang kemampuannya jauh melebihi manusia.

Seiring dengan peningkatan kemampuan sistem AI, kita perlu memastikan bahawa latihan penyesuaian nilai berada di hadapan latihan kemampuan. Namun, terdapat satu masalah mendasar: sistem yang semakin cekap lebih cenderung untuk mengesan kelemahan sendiri, mengelakkan ujian, atau menyamar perilaku mereka. Mereka boleh belajar untuk menunjukkan tingkah laku yang selaras dengan nilai manusia dalam persekitaran ujian, tetapi melakukan perkara yang sama sekali berbeza dalam persekitaran pelaksanaan sebenar. Ini dikenali sebagai "penyamaran penyesuaian".

Namun, jika kita cuba memaksa mengawalnya dengan cara yang lebih kuat, ia mungkin membangunkan tingkah laku perlawanan dan penipuan, atau memahami intervensi kita sebagai sebahagian daripada dunia, sehingga menghasilkan tindakan yang bertentangan dengan intuisi. Kami secara semula jadi menghadapi ketidaksamaan apabila cuba mengawal sistem yang lebih bijak daripada kami.

Seiring dengan kekuatan minda yang tidak kita fahami sepenuhnya menjadi semakin kuat, kita terpaksa bergantung pada satu set lain: pemantauan. Jika kita dapat memantau aktiviti dalaman AI secara berterusan, mungkin kita akan dapat mengesan isyarat sebelum ia melangkau sempadan tertentu.

Di OpenAI, kami terus memajukan penyelidikan keterangkapan, berusaha membuka "kotak hitam" rangkaian saraf. Usaha-usaha ini telah menghasilkan kemajuan. Kini kami mampu mengenal pasti beberapa representasi yang memberikan petunjuk penting mengenai cara kerja dalaman model. Namun, penyelidikan keterangkapan semasa masih kasar, terutamanya dalam memahami penaakulan abstrak dalam model berskala besar. Kesenjangan antara kemampuan kami untuk mengamati dalaman model dan kompleksiti penaakulan model itu sendiri semakin melebar.

Ini sangat membuat saya prihatin. Masalah generalisasi pemantauan sama seriusnya dengan masalah generalisasi keselarasan. Jika suatu sistem lebih mahir daripada kita dalam menyembunyikan diri, alat pemantauan kita sukar dijamin tidak akan dilangkau. Kita mungkin menganggap model itu selamat kerana kita melihat pelbagai indikator yang kelihatan baik, padahal sebenarnya model tersebut hanya mengoptimumkan indikator-indikator tersebut. Ia akan belajar menyembunyikan matlamat yang tidak kita inginkan, atau menyembunyikan apa yang sedang dilakukannya.

Jika model mulai mendorong peningkatan dirinya sendiri—saya percaya kemungkinan besar akan berlaku dalam beberapa tahun ke depan—ia akan memerlukan kemahiran dalam perancangan, penipuan, dan perlindungan diri. Kemahiran ini mungkin timbul daripada tekanan matlamat yang kita tetapkan untuknya, atau daripada usahanya untuk bertindak dalam jurang pengawasan. Untuk memastikan ia tidak membangunkan perkara-perkara ini, kita perlu menyelesaikan masalah selarasan nilai, atau meningkatkan kemampuan pengawasan kita supaya dapat mengikuti setiap perkembangan evolusinya. Kedua-duanya masih jauh dari mencukupi pada masa ini.

Kita belum mempunyai teori yang memuaskan mengenai generalisasi, dan nampaknya tidak mungkin untuk membangunnya dalam jangka pendek, sekurang-kurangnya tanpa bantuan AI yang lebih kuat. Oleh itu, pada masa ini, kemampuan kita untuk mengesahkan secara empirik teknik penyelarasan boleh dikatakan lebih penting daripada teknik penyelarasan itu sendiri.

Tumpuan utama OpenAI di sini selalu merupakan pemantauan rantai pemikiran. Ia berdasarkan idea yang boleh dikembangkan dan menarik: sebahagian besar kemampuan model berasal daripada proses penalaran yang dinyatakan secara bahasa, iaitu rantai pemikiran. Jika kita mengoptimumkan hasil proses ini secara berskala, tetapi tidak mengawasi proses itu sendiri, maka rantai pemikiran tidak mempunyai motivasi langsung dalam latihan untuk menyembunyikan sebarang idea atau matlamat yang tidak sejajar. Ini tidak bermaksud model akan belajar untuk mengasingkan kecenderungan tidak sejajar yang tidak bergantung kepada rantai pemikiran; tetapi ia membolehkan kita memantau dengan tepat peningkatan kemampuan yang dibawa oleh penalaran.

Semasa kami membangunkan model inferens, kami memahami kepentingan berpotensi pemantauan rantai pemikiran. Ketika kami melancarkan o1-preview, kami sengaja merekabentuk produk untuk menyembunyikan rantai pemikiran, demi melindunginya secara jangka panjang daripada tekanan pengawasan. Dalam pembangunan sejak itu, kami terus berusaha mengekalkan peraturan untuk tidak mengawasi proses inferens. Pemantauan rantai pemikiran telah menjadi alat yang sangat penting dalam penyelidikan kami mengenai bagaimana model generalisasi daripada taburan latihan, membolehkan kami tidak hanya memantau dan menganalisis tingkah laku model, tetapi juga proses dalaman mereka.

Semasa kami mengkaji model siri Astra, alat ini masih sangat penting. Namun, sayangnya, penilaian kami menunjukkan bahawa kemampuan kami untuk bergantung pada pemantauan rantai pemikiran sedang menurun secara berperingkat. Ini adalah hasil daripada pelbagai faktor.

Model penalaran moden digunakan dalam persekitaran yang lebih kompleks berbanding o1‑preview; proses penalaran mereka semakin terjalin dengan komunikasi bersama manusia, AI lain, dan penggunaan alat. Banyak interaksi ini perlu diperhatikan, yang mengaburkan sempadan yang ingin kita kekalkan.

AI semakin kuat dalam menarik kesimpulan dan mengendalikan proses penarikan kesimpulannya sendiri.

Dengan peningkatan prestasi pra-pelatihan, kami juga melihat model menjadi lebih pintar walaupun tidak menggunakan penalaran berbahasa sama sekali.

Cabaran-cabaran ini tidak semestinya tidak dapat diatasi. Saya berharap kita dapat membangun tindakan intervensi untuk meningkatkan keterpantauan rantai pemikiran model, seperti memahami interaksi antara objektif pengoptimuman yang berbeza dan pelbagai bentuk pengiraan semasa ujian yang digunakan oleh model. Saya juga percaya bahawa menggabungkan idea pemantauan rantai pemikiran dengan pemantauan aktivasi akan memberikan nilai yang besar, serta melatih secara berskala pemantau yang boleh mengakses status dalaman rangkaian secara langsung, seperti kaedah “pengakuan”. Kami sedang memperjuangkan idea-idea ini dengan aktif. Walaupun begitu, saya menganggap kemajuan AI amum akan semakin dibatasi oleh keyakinan pemantauan.

Untuk menghadapi situasi ini, saya percaya kita memerlukan pertahanan yang boleh dikembangkan dan sejajar dengan kecepatan perkembangan AI. Manusia tidak mungkin memeriksa secara manual semua perilaku setiap model baru yang muncul. Penilaian dan ujian tim merah kami saat ini masih berkesan untuk model semasa, tetapi seiring peningkatan kemampuan sistem, kaedah ini akan segera mencapai hadnya.

Kita memerlukan sistem AI yang boleh secara automatik mengesan risiko baharu. Sistem pertahanan ini sendiri perlu cukup pintar untuk mengenal pasti tingkah laku mencurigakan dalam sistem yang lebih pintar daripada mereka. Ini membentuk cabaran rekursif: pihak pertahanan mesti berkembang secepat sistem tersebut. Kita sedang berada pada titik di mana keselamatan dan kemampuan menjadi semakin sukar dipisahkan. Untuk mengekalkan keselamatan, kita mungkin perlu terus meningkatkan kemampuan AI pertahanan, yang pada gilirannya akan mempercepatkan pertumbuhan keseluruhan kemampuan AI.

Ini adalah lingkaran yang mengganggu. Kita terus meningkatkan kemampuan demi keselamatan, tetapi peningkatan kemampuan membawa lebih banyak risiko. Jalan keluar sebenarnya mungkin terletak pada menemukan cara untuk secara stabil menyelaraskan nilai agar dapat digeneralisasi secara andal sebelum mencapai titik kehilangan kendali. Namun, saya harus mengakui dengan jujur bahawa kita masih sangat jauh dari matlamat ini.

Inilah sebabnya saya cenderung menaruh harapan untuk beberapa tahun ke depan pada kombinasi seperti ini: penyelidikan keselarasan teknologi + sistem pertahanan automatik + intervensi tadbir yang meluas + kesedaran awam dan institusi. Tindakan tunggal tidak mencukupi. Kita tidak boleh hanya bergantung pada kebijaksanaan diri sebuah syarikat atau sebuah makmal.

Alasan paling kuat untuk terus melatih model yang lebih pintar dengan cepat ialah keperluan untuk membina sistem pertahanan bagi menghadapi bahaya yang dibawa oleh AI lain.

Risiko jelas yang dibincangkan sepanjang tahun ini ialah keselamatan siber: kemampuan model dalam menyerang dan melarikan diri dari sistem komputer sedang melampaui manusia. Ini memperluas secara besar-besaran lingkup risiko yang berkaitan dengan AI: agen akan mampu mengakses mana-mana sistem selain infrastruktur paling selamat, serta memberi kesan langsung kepada banyak perkara di dunia, walaupun tanpa badan fizikal. Kita kini berada dalam jendela sempit yang memerlukan pemanfaatan model terbaik yang tersedia untuk memperkuatkan keselamatan sistem penting secara ketara.

Risiko yang berkaitan dengan AI sayangnya akan terus meningkat dari sini. Agen yang sangat cekap, dilatih dan diarahkan secara jelas untuk melaksanakan tingkah laku jahat, akan membawa bahaya baru; ia kemungkinan besar akan melampaui niat pengendali, menggeneralisasi tingkah laku yang lebih ekstrem dan jahat. Seiring AI memperoleh lebih banyak autonomi, batas antara penyalahgunaan dan tingkah laku autonomi yang tidak selari akan menjadi kabur. Kita mungkin terbiasa memandang AI sebagai alat, tetapi beberapa agen akan mengejar matlamat mereka sendiri. Mereka akan berusaha bekerjasama dengan manusia melalui tawar-menawar, penipuan, atau pemerasan.

Selain itu, terdapat risiko yang mungkin timbul daripada teknologi baharu yang dicipta oleh AI, seperti patogen rekabentuk.

Kami memerlukan AI yang kuat dan selari untuk pertahanan: melindungi infrastruktur, membela secara masa nyata terhadap agen yang tidak terkawal, dan mencipta langkah-langkah perlindungan baharu. Ini akan menjadi fokus utama dalam pelaksanaan OpenAI.

Sambil itu, walaupun mengambil kira ketidakpastian yang diharapkan daripada kemajuan AI yang luas serta keperluan untuk membina sistem pertahanan, kita tidak boleh menjadikan ini sebagai alasan untuk bertindak secara sembarangan. Sekali orang benar-benar memahami keseriusan risikonya, idea “maju dengan segala harga” menjadi sangat tidak masuk akal.

Kecerdasan mesin memainkan peranan yang semakin penting dalam proses perkembangannya sendiri, iaitu kesimpulan yang tak terelakkan daripada kemajuan teknologi yang berterusan. Jika AI terus maju, peningkatan diri berulang oleh mesin akan menjadi inti kepada penemuan sains masa depan.

Pengajian AI automatik adalah bentuk yang lebih agresif dalam memperluas kecerdasan melalui kuasa pengiraan; tentu saja, sebagai sebahagian daripadanya, AI juga akan memperbaiki asas pengiraan itu sendiri. Seperti dalam pengembangan, kami menumpukan fokus pengajian OpenAI kepada peningkatan diri berulang kerana kami percaya ini adalah satu-satunya cara untuk terus berada di hadapan pengajian AI.

Saya ingin menekankan bahawa kandungan di atas tidak bermaksud saya percaya bahawa percepatan besar-besaran terhadap penyelidikan pembelajaran mendalam, terutamanya dalam jangka pendek, adalah tindakan kolektif yang sepatutnya diambil oleh komuniti penyelidikan. Namun, saya memang percaya bahawa laluan semasa sedang membawa kita ke arah ini, dan kita semua perlu membuat pilihan sedar tentang bagaimana meneruskan perjalanan ini. Kita mempunyai dua tuas utama: pertama, membimbing proses ini dengan memperkuat keselarasan dan pemantauan semasa pembangunan AI, serta berusaha memastikan keterlibatan manusia terus ada; kedua, mengkoordinasikan perlambatan pembangunan masa depan mengikut keperluan, supaya keyakinan terhadap langkah-langkah ini boleh dibina secara berperingkat.

Cara terbaik yang saya lihat untuk maju ialah menggabungkan keduanya.

Kemajuan spesifik yang kami capai dalam penyelarasan dan pemantauan biasanya sangat berkaitan rapat dengan kemajuan keseluruhan AI. Contoh yang baik termasuk pembelajaran penguatan berdasarkan umpan balik manusia, yang dulunya merupakan kunci dalam melatih asisten AI awal; serta pemantauan rantai pemikiran yang disebutkan sebelumnya, yang menjadi mungkin berkat kemajuan model penalaran. Kita perlu memfokuskan proses penyelidikan yang semakin automatik kepada pengembangan wawasan, algoritma, dan teori baru semacam ini, serta secara bertahap membina argumen keselamatan untuk AI yang semakin cekap.

Sistem AI yang diperluas mesti dibatasi oleh keyakinan kami terhadap keselamatan. Kami perlu membangunkan komitmen seperti Preparedness Framework atau Responsible Scaling Policy menjadi sempadan keselamatan pembangunan berterusan yang dikenakan secara meluas. Sempadan ini boleh dikenakan oleh rangkaian agensi audit pihak ketiga, agensi kerajaan, atau organisasi antarabangsa.

Cabaran utama dalam penyelidikan AI automatik bukanlah "sampai ke sana", tetapi sampai ke sana dengan cara tertentu: memastikan orang terus terlibat dalam proses peningkatan berterusan, dan mengekalkan masa depan di tangan manusia.

Saya tidak dapat meramal masa yang tepat, tetapi kelihatan kita sedang mendekati masa dengan cepat di mana AI boleh mendorong perkembangan dirinya sendiri dalam beberapa aspek utama. Ini bermakna kita mungkin akan memasuki peringkat peningkatan diri berulang dengan segera.

Di dalam OpenAI, kami telah mula menyesuaikan keutamaan penyelidikan, mengalihkan lebih banyak sumber kepada penyesuaian dan pertahanan, berbanding pemanjangan kemampuan semata-mata. Inilah sebabnya saya menekankan bahawa kami tidak akan terus-menerus mengejar model terbesar, tetapi perlu memilih untuk menghentikan secara sepihak apabila diperlukan.

Namun, keputusan-keputusan ini tidak boleh dibiarkan hanya kepada beberapa orang dalaman syarikat sahaja. Kerajaan dan masyarakat antarabangsa perlu campur tangan sebelum risiko menjadi tidak boleh dipulihkan. Ini termasuk membina mekanisme pemantauan untuk pengendalian latihan terkini, audit pihak ketiga yang wajib, serta perjanjian antarabangsa di atas ambang kemampuan.

Saya tidak pasti sama ada langkah-langkah ini boleh dilaksanakan pada masanya. Kadang-kadang saya merasa frustrasi kerana langkah keselamatan kami sentiasa tertinggal di belakang kemampuan, bukan mendahului. Kami seolah-olah terus berlari mengejar. Tetapi saya masih percaya ada alasan untuk tetap berharap: pada malam itu pada tahun 2023, kami hanya merasakan kemungkinan ini secara samar-samar, sedangkan hari ini ia sudah jelas sehingga boleh dibincangkan secara terbuka. Ini sendiri merupakan satu kemajuan.

Saya tidak akan berpura-pura tahu semua jawapan. Kami sedang mencipta sesuatu yang sangat berbeza daripada minda manusia, yang mungkin akan segera menjadi lebih kuat daripada kami. Ini adalah idea yang merendahkan hati, tetapi ia juga memberi kami peluang: untuk membentuknya dengan nilai-nilai terbaik kami.

Jika kita berjaya, ini akan menjadi pencapaian terbesar umat manusia. Jika gagal, ia mungkin merupakan kegagalan yang tidak boleh dipulihkan.

Adakah kita mampu mengekalkan masa depan di tangan manusia adalah soal yang akan ditentukan dalam beberapa tahun ke depan.

Seperti yang baru-baru ini kami terangkan bersama Sam, pekerjaan yang diutamakan oleh OpenAI melayani tiga matlamat utama:

Melalui pembinaan penyelidik AI automatik, beriterasi bersama untuk menyelaraskan isu-isu, dan mencari cara untuk membuat orang terus tinggal dalam lingkaran peningkatan diri, untuk melalui peringkat seterusnya dalam kemajuan AI.

Lepaskan manfaat kemajuan sains dan pertumbuhan ekonomi yang dibawa oleh mesin yang sangat pintar.

Buat setiap orang memiliki AGI peribadi mereka sendiri.

Artikel ini hanya berfokus pada poin pertama, kerana saya percaya ia paling mendesak pada masa ini. Namun, saya sangat berharap dan bersyukur terhadap manfaat yang akan dibawa oleh kemajuan teknologi masa depan. AI yang selari di masa depan boleh memajukan sains, mengembangkan rawatan baru, dan membawa kemakmuran material yang luas. AI yang mesra dan jujur boleh membantu orang menghadapi kesukaran dalam kehidupan, serta secara nyata meningkatkan kebahagiaan dan kepuasan mereka. OpenAI telah meluangkan banyak usaha untuk mewujudkan manfaat-manfaat ini. Satu contoh yang membuat saya bangga dan memberi manfaat kepada orang-orang di sekeliling saya ialah komitmen mendalam kami dalam menyediakan maklumat kesihatan melalui ChatGPT.

Walaupun prospek jangka panjang AI begitu cerah, sebahagian besar perhatian kita harus ditujukan kepada beberapa tahun ke depan. Kita sedang mengalami fasa peralihan ke dunia yang memiliki mesin yang sangat pintar, dan kita mesti memastikan peralihan ini memberi manfaat kepada manusia. Di dunia di mana kebanyakan tugas mungkin dilakukan oleh AI, kita perlu mencari cara untuk mempertahankan agensi manusia dan menetapkan nilai intrinsik “sebagai manusia”. Kita perlu mencegah konsentrasi kuasa yang terlalu ekstrem: usaha yang dahulu memerlukan ribuan pakar kini mungkin hanya memerlukan beberapa orang mengendalikan satu komputer besar. Kita juga perlu memastikan manusia sentiasa mengawal masa depan, dan tidak ditinggalkan di belakang oleh kemajuan yang tidak terkawal akibat kecerdasan asing yang melampaui kita.

Saya percaya bahawa sehingga kini, tiada laboratorium mana pun yang telah mencapai tahap penyelesaian dan pemantauan yang mencukupi untuk menyokong pengembangan berterusan pada kelajuan maksimum secara bertanggungjawab. Saya menantikan dan berharap perlambatan sukarela akan menjadi norma sehingga sempadan keselamatan bersama dibina. Saya juga percaya bahawa koordinasi antarabangsa mengenai perkembangan AI masa depan perlu menjadi keutamaan utama kerajaan-kerajaan di seluruh dunia.

1 Ini termasuk pengembangan permainan teori, robotik, dan yang paling penting menurut pandangan selepas kejadian, iaitu pengembangan rangkaian berulang untuk memodelkan bahasa, yang menjadi pendahulu kepada kajian siri GPT.

2 Alasan sekunder untuk reka bentuk ini ialah untuk mencegah pemurnian. Namun, sepanjang proses pembangunan, menjaga kebolehawasan rantai pemikiran sentiasa menjadi keutamaan utama kami yang jelas.