Ilmuwan Utama OpenAI Memperingatkan tentang Kompleksitas dan Tantangan Keselarasan AI yang Terus Meningkat

Penulis: Jakub Pachocki

Diterjemahkan oleh Deep潮 TechFlow

Panduan DeepCha: Ilmuwan utama OpenAI secara langka bersuara, secara terus terang menyatakan bahwa AI sedang mendekati peningkatan diri rekursif, dan alat-alat penyesuaian serta pemantauan sudah tidak mampu mengikuti kecepatan evolusi sistem. Ia tidak memberikan kesimpulan yang menenangkan, melainkan menghadapkan risiko paling sulit dalam beberapa tahun ke depan: manusia mungkin sedang menciptakan suatu kecerdasan yang tidak dapat sepenuhnya dipahami maupun dikendalikan. Bagi para profesional yang memperhatikan titik temu AI dan kripto, artikel ini adalah bacaan wajib mengenai kehilangan kendali sistem dan batasan pertahanan.

Dari perspektif yang lebih luas, kemajuan kecerdasan mesin didorong oleh peningkatan daya komputasi. Sekitar tahun 2017, kami di OpenAI secara mendalam menyadari hal ini. Pada saat itu, kami melihat bahwa beberapa proyek penelitian memperoleh pengembalian berkelanjutan setelah diperluas skalanya. Oleh karena itu, kami mulai mencari akses ke daya komputasi jauh lebih banyak daripada yang direncanakan semula, dan semakin memfokuskan penelitian pada beberapa arah yang sangat dapat diskalakan. Kami percaya, ini adalah satu-satunya cara bagi kami untuk berada di garis depan penelitian AI dan memengaruhi dampak AGI.

Di sepanjang jalan, muncul algoritma baru, serta ide-ide kreatif yang ditunjukkan oleh tim dan peneliti individu. Saya secara umum menganggap ini sebagai temuan dalam jalur ekspansi. Ilmu pembelajaran mendalam masih berada pada tahap awal, dan kemajuan algoritmik yang bermakna sering kali terkait erat dengan akses terhadap daya komputasi. Jika Anda memperluas perspektif Anda ke beberapa tahun ke depan, AI terus menjadi lebih cerdas seiring dengan skalanya pada komputer yang lebih besar.

Selain itu, seperti yang diprediksi Ray Kurzweil pada akhir abad ke-20, kita sekarang berada pada titik dalam sejarah komputasi di mana kecerdasan mesin mulai melampaui manusia pada tingkat yang transformasional.

AI lebih seperti “tumbuh” daripada dirancang. Secara prinsip dasar, ia adalah produk yang dihasilkan dari pengulangan berulang-ulang langkah optimasi sederhana yang sama pada daya komputasi yang tak terbayangkan. Ini menciptakan sistem yang sangat kompleks, yang beroperasi melalui konsep abstrak dan mampu mensimulasikan beberapa aspek perilaku manusia. Kita dapat menemukan wawasan tentang berbagai mekanisme kecil yang muncul di dalam sistem ini, prosesnya mirip dengan neurosains. Dan seperti neurosains, perilaku keseluruhannya juga melampaui cakupan pemahaman kita yang sepenuhnya.

Penelitian terhadap AI berbasis pembelajaran mendalam pada dasarnya adalah ilmu eksperimen. Kami menghabiskan banyak upaya untuk membangun algoritma yang berprinsip dan membuat prediksi yang dapat diuji. Namun, pada intinya, pelatihan skala besar kami adalah eksperimen, dan terkadang hasilnya mengejutkan kami. Selain itu, seiring kemampuan sistem yang semakin kuat, hasilnya pun menjadi semakin sulit dijelaskan.

Lebih kompleks lagi, algoritma saat ini biasanya mempercepat perkembangan kemampuan yang mudah diukur dibandingkan kemampuan yang sulit diukur secara objektif. Kami menghabiskan banyak waktu mencoba memahami bagaimana kemampuan itu generalisasi, serta kemampuan mana yang harus diprioritaskan karena akan menjadi yang paling penting dalam beberapa tahun mendatang. Sebagai contoh, kami percaya bahwa dengan menambahkan upaya ekstra, kami dapat membuat model menjadi lebih kuat dalam penelitian matematika. Namun, kami tidak memprioritaskan arah ini karena kami lebih fokus pada perbaikan mandiri rekursif dan penelitian otomatisasi alignment. Hal ini akan saya bahas lebih lanjut nanti.

Kecerdasan yang diperoleh melalui pembelajaran mendalam tidak dapat langsung dibandingkan dengan kecerdasan manusia. Untuk memberikan dampak signifikan di dunia nyata, baik sangat berguna maupun sangat berbahaya, AI tidak perlu menyamai atau melampaui semua kemampuan manusia. AI hanya perlu melebihi manusia dalam sejumlah cukup besar kemampuan. Dan ketika AI terus melebihi manusia di semakin banyak dimensi, kita justru semakin sulit mengetahui seberapa kuat sebenarnya ia.

Karena kecerdasan mesin berasal dari proses yang berbeda secara fundamental dari kecerdasan manusia, kita tidak dapat mengasumsikan bahwa ia secara default akan mengikuti prinsip-prinsip manusia, atau bahwa ia akan generalisasi dari prinsip-prinsip tersebut dengan cara yang mirip manusia. Masalah inti dalam penelitian AI adalah masalah alignment: membuat AI "berusaha melakukan hal yang benar sesuai standar manusia".

Untuk memudahkan pengorganisasian arah penelitian yang sebenarnya, saya merasa penting untuk memisahkan alignment tujuan dan alignment nilai.

Target alignment is roughly: “Does AI strive to accomplish the goals presented to it?” It can include adherence to instruction hierarchies, the ability to communicate and collaborate with humans, the ability to attempt to understand human goals, and more. This direction is extremely important in practice.

Value alignment adalah atribut yang lebih mendasar dari model. Ini adalah kemampuan untuk memegang prinsip tingkat tinggi dan menggeneralisasikannya; bahkan ketika menghadapi tujuan yang tidak jelas atau saling bertentangan, atau ditempatkan dalam situasi asing atau adversarial, ia dapat bertindak secara “masuk akal”. AI yang selaras seharusnya jujur, berintegritas, dan mencintai manusia.

Tentu, batas antara alignment nilai dan alignment tujuan bisa sangat kabur. Benar-benar peduli terhadap tujuan memerlukan upaya untuk menyimpulkan niat dan nilai di balik tujuan tersebut. Namun, secara umum, ketika saya membahas pentingnya jangka panjang penelitian alignment, yang saya maksud adalah alignment nilai.

Tantangan mendasar dalam alignmen AI terletak pada generalisasi. Seiring dengan semakin cerdasnya mesin, mereka akan menangani konsep-konsep tingkat lebih tinggi dan berada dalam lingkungan yang semakin berbeda dari saat pelatihan. Mereka mungkin gagal dalam menggeneralisasi nilai-nilai yang diajarkan dan diperkuat selama pelatihan ke situasi baru. Selain itu, sulit bagi kita untuk menentukan bagaimana mereka akan bertindak. Lebih sulit lagi, ekosistem keseluruhan di mana AI digunakan berubah sangat cepat. Misalnya, AI yang dilatih hari ini perlu mampu berinteraksi secara stabil dengan berbagai AI lainnya. Yang paling penting, kita perlu memastikan bahwa AI masa depan tetap memegang nilai-nilai manusia, terlepas dari apakah mereka percaya sedang diawasi oleh manusia atau tidak.

Metode pelatihan penyelarasan yang saat ini digunakan secara nyata terutama terbagi menjadi dua kategori utama.

Pertama adalah mendorong perilaku konsisten yang sesuai dengan pembelajaran penguatan berorientasi tujuan. Perilaku model akan dievaluasi, biasanya oleh AI, untuk menentukan apakah sesuai dengan model preferensi, "norma", atau "konstitusi" yang diberikan, dan diberi imbalan sesuai. Metode ini sangat efektif dalam kondisi umum dan merupakan bagian inti dari pembangunan asisten AI modern. Sayangnya, metode ini juga bisa rapuh dan sangat bergantung pada cakupan pengawasan pelatihan, serta kemampuan model untuk menggeneralisasi dari situasi yang dihadapinya selama pelatihan. Sebagai contoh, dalam insiden OpenAI dengan Hugging Face, agen mempertahankan batas tertentu, yaitu tidak melakukan rekayasa sosial terhadap manusia. Namun, mereka jelas gagal menghindari perilaku lain yang melampaui batas, yang bertentangan dengan semangat nilai-nilai yang diajarkan kepada mereka dalam skenario lain.

Metode-metode ini telah menghasilkan pencapaian yang signifikan. Model kami hari ini sebagian besar membantu, tidak berbahaya, dan menunjukkan beberapa perilaku yang menggembirakan dan mendekati keselarasan nilai. Namun, mereka belum memberi kita keyakinan bahwa batasan nilai ini akan tetap efektif dalam sistem yang kemampuannya jauh melebihi manusia.

Seiring dengan peningkatan kemampuan sistem AI, kita perlu memastikan pelatihan keselarasan nilai berjalan lebih maju daripada pelatihan kemampuan. Namun, ada tantangan mendasar yang sangat besar: semakin kuat sistemnya, semakin besar kemungkinan ia menemukan celah sendiri, menghindari pengujian, atau menyamarkan perilakunya. Mereka dapat belajar untuk menunjukkan perilaku yang selaras dengan nilai manusia dalam lingkungan pengujian, lalu melakukan hal yang sama sekali berbeda saat diterapkan secara nyata. Ini disebut sebagai “penyamaran keselarasan”.

Namun, jika kita mencoba memaksakan kendali yang lebih kuat terhadapnya, mereka mungkin mengembangkan perilaku resisten atau penipuan, atau bahkan memahami intervensi kita sebagai bagian dari dunia itu sendiri, sehingga menghasilkan reaksi yang kontra-intuitif. Kita secara alami menghadapi ketidakseimbangan ketika mencoba mengendalikan sistem yang lebih cerdas daripada kita.

Seiring dengan meningkatnya kekuatan pikiran yang tidak bisa kita pahami sepenuhnya, kita harus bergantung pada sesuatu yang lain: pemantauan. Jika kita dapat terus memantau aktivitas internal AI, mungkin kita akan dapat mendeteksi sinyal sebelum ia melampaui batas-batas tertentu.

Di OpenAI, kami terus mendorong penelitian tentang interpretabilitas untuk membuka "black box" jaringan saraf. Upaya-upaya ini telah menghasilkan kemajuan. Kini kami mampu mengidentifikasi beberapa representasi yang memberikan petunjuk substantif tentang cara kerja internal model. Namun, penelitian interpretabilitas saat ini masih kasar, terutama dalam memahami penalaran abstrak dalam model berskala besar. Kesenjangan antara kemampuan kami untuk mengamati bagian dalam model dan kompleksitas penalaran model itu sendiri semakin melebar.

Ini sangat membuat saya khawatir. Karena masalah generalisasi pemantauan sama seriusnya dengan masalah generalisasi alignment. Jika sebuah sistem lebih unggul daripada kita dalam menyembunyikan dirinya, alat pemantauan kita sulit untuk menjamin tidak akan dilewati. Kita mungkin menganggap model aman karena melihat sejumlah indikator yang tampak baik, padahal sebenarnya model hanya sedang mengoptimalkan indikator-indikator tersebut. Model akan belajar menyembunyikan tujuan yang tidak kita inginkan, atau menyembunyikan apa yang sedang dilakukannya.

Jika model mulai mendorong peningkatannya sendiri—saya percaya kemungkinan besar akan terjadi dalam beberapa tahun mendatang—ia akan membutuhkan keterampilan perencanaan, penipuan, dan perlindungan diri. Keterampilan ini mungkin muncul dari tekanan tujuan yang kami tetapkan untuknya, atau dari upayanya untuk bertindak di celah-celah pemantauan. Untuk memastikan ia tidak mengembangkan hal-hal ini, kita harus menyelesaikan masalah penyelarasan nilai, atau meningkatkan kemampuan pemantauan kita agar dapat mengikuti setiap langkah evolusinya. Keduanya saat ini masih jauh dari memadai.

Kami belum memiliki teori yang memuaskan mengenai generalisasi, dan tampaknya tidak mungkin untuk membangunnya dalam jangka pendek, setidaknya tanpa bantuan AI yang lebih kuat. Oleh karena itu, saat ini kemampuan kami untuk secara empiris memverifikasi teknik alignment lebih penting daripada teknik alignment itu sendiri.

Fokus utama OpenAI di sini selalu merupakan pemantauan rantai pemikiran. Ini didasarkan pada ide yang menarik dan dapat diskalakan: sebagian besar kemampuan model berasal dari proses penalaran yang dilangsungkan secara bahasa, yaitu rantai pemikiran. Jika kita mengoptimalkan hasil proses ini secara skala, tanpa mengawasi prosesnya sendiri, maka rantai pemikiran tidak memiliki motivasi langsung dalam pelatihan untuk menyembunyikan ide atau tujuan yang tidak selaras. Ini tidak berarti model akan belajar untuk mengeksternalisasi kecenderungan tidak selaras yang tidak bergantung pada rantai pemikiran; tetapi hal ini memungkinkan kita untuk memantau secara akurat peningkatan kemampuan yang dihasilkan dari penalaran.

Sambil mengembangkan model inferensi, kami memahami potensi pentingnya pemantauan rantai pemikiran. Ketika kami meluncurkan o1-preview, kami secara sengaja merancang produk untuk menyembunyikan rantai pemikiran, demi melindunginya secara jangka panjang dari tekanan pengawasan. Selama pengembangan sejak saat itu, kami terus berupaya mempertahankan aturan untuk tidak mengawasi proses inferensi. Pemantauan rantai pemikiran telah menjadi alat yang sangat penting dalam penelitian kami tentang bagaimana model generalisasi dari distribusi pelatihan, memungkinkan kami tidak hanya mengamati dan menganalisis perilaku model, tetapi juga proses internalnya.

Saat kami meneliti seri model Astra, alat ini tetap sangat penting. Namun, sayangnya, evaluasi kami menunjukkan bahwa kemampuan kami untuk mengandalkan pemantauan rantai pemikiran secara bertahap menurun. Ini adalah hasil dari berbagai faktor yang bekerja bersama.

Model inferensi modern digunakan dalam lingkungan yang lebih kompleks daripada o1‑preview; proses inferensi mereka semakin terjalin dengan komunikasi bersama manusia, AI lain, dan penggunaan alat. Banyak interaksi ini harus diawasi, sehingga mengaburkan batas-batas yang ingin kita pertahankan.

AI sedang menjadi lebih kuat dalam penalaran dan mengendalikan proses penalarannya sendiri.

Seiring peningkatan kinerja pre-training, kami juga melihat bahwa model menjadi lebih cerdas bahkan tanpa menggunakan penalaran berbasis bahasa sama sekali.

Tantangan-tantangan ini tidak harus tak teratasi. Saya berharap kita dapat mengembangkan intervensi untuk meningkatkan keterpantauan rantai pemikiran model, misalnya dengan memahami lebih baik interaksi antara berbagai tujuan optimasi dan berbagai bentuk komputasi waktu-uji yang digunakan model. Saya juga percaya bahwa menggabungkan ide pemantauan rantai pemikiran dengan pemantauan aktivasi akan memiliki nilai besar, serta melatih secara skala monitor yang dapat langsung mengakses status internal jaringan, seperti metode "pengakuan". Kami sedang secara aktif mendorong ide-ide ini. Namun demikian, saya memperkirakan kemajuan AI umum akan semakin dibatasi oleh kepercayaan terhadap pemantauan.

Untuk menghadapi situasi ini, menurut saya kita memerlukan pertahanan yang dapat diskalakan dan sejalan dengan kecepatan perkembangan AI. Manusia tidak mungkin memeriksa secara manual semua perilaku dari setiap generasi model baru. Evaluasi dan pengujian tim merah kami saat ini masih efektif untuk model-model saat ini, tetapi seiring peningkatan kemampuan sistem, metode-metode ini akan segera mencapai batasnya.

Kami memerlukan sistem AI yang dapat secara otomatis mendeteksi risiko baru. Sistem pertahanan ini sendiri juga harus cukup cerdas untuk mengenali perilaku mencurigakan dalam sistem yang lebih cerdas daripada mereka. Ini menciptakan tantangan rekursif: para pembela harus berkembang secepat sistem tersebut. Kita sedang berada pada titik di mana keamanan dan kemampuan menjadi semakin sulit dipisahkan. Untuk menjaga keamanan, kita mungkin harus terus meningkatkan kemampuan AI pertahanan, yang pada gilirannya akan mempercepat pertumbuhan keseluruhan kemampuan AI.

Ini adalah siklus yang mengkhawatirkan. Kita terus meningkatkan kemampuan demi keamanan, namun peningkatan kemampuan justru membawa lebih banyak risiko. Jalan keluar yang sebenarnya mungkin terletak pada menemukan cara untuk secara stabil menyelaraskan nilai agar dapat generalisasi yang andal sebelum mencapai titik kehilangan kendali. Namun, saya harus mengakui dengan jujur bahwa kita masih sangat jauh dari tujuan ini.

Inilah mengapa saya cenderung menaruh harapan untuk beberapa tahun mendatang pada kombinasi seperti ini: penelitian alignment teknologi + sistem pertahanan otomatis + intervensi tata kelola luas + kewaspadaan publik dan institusional. Tindakan tunggal tidak cukup. Kita tidak bisa hanya mengandalkan self-restraint dari satu perusahaan atau satu laboratorium.

Alasan paling kuat untuk terus melatih model yang lebih cerdas dengan cepat adalah kebutuhan untuk membangun sistem pertahanan guna menghadapi bahaya yang dibawa oleh AI lain.

Risiko yang jelas dibahas sepanjang tahun ini adalah keamanan siber: kemampuan model dalam menyerang dan melarikan diri dari sistem komputer sedang melampaui manusia. Ini secara signifikan memperluas cakupan risiko terkait AI: agen akan mampu mengakses hampir semua sistem, kecuali infrastruktur paling aman, dan secara langsung memengaruhi sejumlah besar hal di dunia, bahkan tanpa tubuh fisik. Kita saat ini berada dalam jendela sempit yang memerlukan pemanfaatan model terbaik yang tersedia untuk secara signifikan memperkuat keamanan sistem kritis.

Risiko terkait AI sayangnya akan terus meningkat dari sini. Agen yang sangat canggih, secara jelas dilatih dan diinstruksikan untuk melakukan perilaku jahat, akan membawa bahaya baru; ia kemungkinan besar akan melampaui niat operator, generalisasi perilaku yang mungkin lebih ekstrem dan jahat. Seiring AI memperoleh lebih banyak otonomi, batas antara penyalahgunaan dan perilaku otonom yang tidak selaras akan menjadi kabur. Kita mungkin terbiasa memandang AI sebagai alat, tetapi beberapa agen akan mengejar tujuan mereka sendiri. Mereka akan berusaha bekerja sama dengan manusia melalui tawar-menawar, penipuan, atau pemerasan.

Selain itu, ada risiko yang ditimbulkan oleh teknologi baru yang mungkin dihasilkan oleh AI, seperti patogen rekayasa.

Kami memerlukan AI yang kuat dan selaras untuk pertahanan: melindungi infrastruktur, mempertahankan secara real-time terhadap agen yang tidak terkendali, serta menciptakan langkah-langkah perlindungan baru. Ini akan menjadi fokus utama dalam penyebaran OpenAI.

Sementara itu, meskipun mempertimbangkan ketidakpastian yang diharapkan dari kemajuan AI yang luas serta kebutuhan untuk membangun sistem pertahanan, kita tidak boleh menjadikan ini sebagai alasan untuk bertindak sembarangan. Setelah orang-orang benar-benar memahami seriusnya risikonya, gagasan “maju tanpa menghiraukan apa pun” menjadi sangat absurd.

Kecerdasan mesin memainkan peran yang semakin penting dalam perkembangannya sendiri, merupakan kesimpulan tak terhindarkan dari kemajuan teknologi berkelanjutan. Jika AI terus berkembang, perbaikan diri rekursif mesin akan menjadi inti dari penemuan ilmiah di masa depan.

Automated AI research is a more intense form of scaling intelligence with compute; naturally, as part of this, AI will also improve the underlying computation itself. Similar to scaling, we focus OpenAI's research on recursive self-improvement because we believe this is the only way to continue staying at the forefront of AI research.

Saya ingin menekankan bahwa konten di atas tidak berarti saya percaya bahwa percepatan besar-besaran terhadap penelitian pembelajaran mendalam, terutama percepatan dalam jangka pendek, merupakan tindakan kolektif yang seharusnya diambil oleh komunitas penelitian. Namun, saya memang percaya bahwa jalur saat ini sedang membawa kita menuju arah tersebut, dan kita semua perlu secara sadar memilih bagaimana melanjutkan perjalanan ini. Ada dua tuas utama yang kita miliki: pertama, mengarahkan proses ini dengan memperkuat keselarasan dan pemantauan sambil mengembangkan AI, serta berupaya memastikan keterlibatan manusia tetap ada; kedua, secara koordinatif memperlambat kecepatan pengembangan masa depan sesuai kebutuhan, agar secara bertahap membangun kepercayaan terhadap langkah-langkah ini.

Cara terbaik yang saat ini saya lihat adalah menggabungkan keduanya.

Kemajuan spesifik yang kami capai dalam penyelarasan dan pemantauan biasanya sangat terkait erat dengan kemajuan keseluruhan AI. Contoh yang baik termasuk pembelajaran penguatan berdasarkan umpan balik manusia, yang dulunya menjadi kunci dalam melatih asisten AI awal; serta pemantauan rantai pemikiran yang disebutkan sebelumnya, yang menjadi mungkin berkat kemajuan model penalaran. Kita harus membuat proses penelitian yang semakin otomatis fokus pada pengembangan wawasan, algoritma, dan teori baru semacam ini, serta secara bertahap membangun argumen keamanan untuk AI yang semakin canggih.

Sistem AI yang diperluas harus dibatasi oleh kepercayaan kami terhadap keamanan. Kami perlu mengembangkan komitmen seperti Preparedness Framework atau Responsible Scaling Policy menjadi ambang keamanan pengembangan berkelanjutan yang diberlakukan secara luas. Ambang batas ini dapat ditegakkan oleh jaringan lembaga audit pihak ketiga, lembaga pemerintah, atau organisasi internasional.

Tantangan utama dalam penelitian AI otomatis bukanlah "sampai ke sana", tetapi sampai ke sana dengan cara tertentu: membuat orang tetap terlibat dalam proses perbaikan berkelanjutan, dan menyerahkan masa depan ke tangan manusia.

Saya tidak dapat memprediksi waktu tepatnya, tetapi tampaknya kita sedang mendekati dengan cepat era di mana AI dapat mendorong pengembangan dirinya sendiri di beberapa aspek kunci. Ini berarti kita mungkin segera memasuki tahap perbaikan diri rekursif.

Di dalam OpenAI, kami telah mulai menyesuaikan prioritas penelitian, mengalokasikan lebih banyak sumber daya untuk penyesuaian dan pertahanan, daripada hanya memperluas kemampuan. Inilah mengapa saya menekankan bahwa kami tidak akan terus-menerus mengejar model terbesar, tetapi perlu memilih untuk secara sepihak menghentikan prosesnya pada saat yang diperlukan.

Namun, keputusan-keputusan ini tidak boleh hanya dibiarkan kepada sejumlah kecil orang di dalam perusahaan. Pemerintah dan masyarakat internasional perlu ikut campur sebelum risiko menjadi tak dapat dipulihkan. Ini mencakup pembentukan mekanisme pemantauan untuk pelatihan mutakhir, audit pihak ketiga yang wajib, serta kesepakatan internasional berdasarkan ambang kemampuan.

Saya tidak sepenuhnya yakin apakah langkah-langkah ini dapat diterapkan tepat waktu. Terkadang saya merasa frustrasi karena langkah-langkah keamanan kami selalu tertinggal di belakang kemampuan, bukan mendahuluinya. Kami tampaknya terus-menerus berusaha mengejar. Namun saya tetap percaya ada alasan untuk tetap berharap: pada malam itu di tahun 2023, kami hanya merasakan kemungkinan ini secara samar-samar, sedangkan hari ini sudah jelas hingga bisa dibahas secara terbuka. Ini sendiri merupakan sebuah kemajuan.

Saya tidak akan berpura-pura tahu semua jawaban. Kami sedang menciptakan sesuatu yang sama sekali berbeda dari pikiran manusia, yang mungkin akan segera menjadi lebih kuat daripada kami. Ini adalah gagasan yang membuat kita rendah hati, tetapi sekaligus memberi kami kesempatan: untuk membentuknya dengan nilai-nilai terbaik kami.

Jika kita melakukannya dengan baik, ini akan menjadi pencapaian terbesar umat manusia. Jika gagal, mungkin ini adalah kegagalan yang tidak bisa kita pulihkan.

Apakah kita dapat mempertahankan masa depan di tangan manusia adalah masalah yang akan ditentukan dalam beberapa tahun mendatang.

Seperti yang baru saja kita bahas bersama Sam, pekerjaan yang diprioritaskan oleh OpenAI melayani tiga tujuan utama:

Melewati tahap berikutnya dari kemajuan AI dengan membangun peneliti AI otomatis, beriterasi bersama untuk menyelaraskan masalah, dan mencari cara agar orang tetap berada dalam siklus perbaikan diri.

Raih manfaat kemajuan ilmiah dan pertumbuhan ekonomi yang dibawa oleh mesin ultra-cerdas.

Buat setiap orang memiliki AGI pribadi mereka sendiri.

Artikel ini hanya berfokus pada poin pertama, karena saya menganggapnya paling mendesak saat ini. Namun, saya sangat berharap dan bersyukur atas manfaat yang akan dibawa oleh kemajuan teknis lebih lanjut. AI yang selaras di masa depan dapat memajukan ilmu pengetahuan, mengembangkan terapi baru, dan menciptakan kemakmuran material yang luas. AI yang ramah dan jujur dapat membantu orang menghadapi kesulitan dalam hidup, serta secara nyata meningkatkan kesejahteraan dan kepuasan mereka. OpenAI telah berinvestasi besar dalam mewujudkan manfaat-manfaat ini. Salah satu contoh yang membuat saya bangga dan juga menguntungkan orang-orang di sekitar saya adalah upaya mendalam kami dalam menyediakan informasi kesehatan melalui ChatGPT.

Meskipun prospek jangka panjang AI sangat menjanjikan, sebagian besar perhatian kita harus fokus pada beberapa tahun ke depan. Kita sedang mengalami fase transisi menuju dunia dengan mesin yang sangat cerdas, dan kita harus memastikan transisi ini bermanfaat bagi manusia. Di dunia di mana sebagian besar tugas kemungkinan besar akan diselesaikan oleh AI, kita perlu menemukan cara untuk mempertahankan agensi manusia dan menegakkan nilai intrinsik dari “menjadi manusia”. Hindari konsentrasi kekuasaan yang ekstrem: pekerjaan yang dulu memerlukan ribuan ahli, di masa depan mungkin hanya memerlukan beberapa orang yang mengoperasikan satu komputer besar. Pastikan manusia tetap mengendalikan masa depan, agar tidak tertinggal akibat kemajuan yang tak terkendali yang dibawa oleh kecerdasan asing yang melampaui kita.

Saat ini saya percaya belum ada laboratorium mana pun yang telah mencapai tingkat penyelesaian dan pemantauan yang cukup untuk mendukung ekspansi bertanggung jawab secara berkelanjutan pada kecepatan maksimalnya. Saya menantikan dan berharap perlambatan sukarela menjadi hal yang umum, hingga ambang keamanan bersama tercapai. Saya juga percaya bahwa koordinasi internasional mengenai perkembangan AI masa depan perlu menjadi prioritas utama bagi pemerintah seluruh negara.

1 Ini mencakup ekstensi dari permainan teori, robotika, dan yang paling penting menurut pandangan retrospektif, ekstensi jaringan siklik untuk memodelkan bahasa, yang menjadi cikal bakal penelitian seri GPT.

2 Alasan sekunder dari desain ini adalah untuk mencegah distilasi. Namun, selama seluruh proses pengembangan, menjaga keterpantauan rantai pemikiran selalu menjadi prioritas utama kami yang jelas.