28 Juli, 1.346 karyawan inti dari perusahaan AI Silicon Valley seperti OpenAI dan Anthropic menandatangani petisi bersama, mendesak pemerintah AS untuk mendorong kerja sama internasional dalam membangun alat tata kelola untuk mengendalikan ritme pengembangan AI.Penulis artikel, sumber: 36氪
Harga dari kehilangan kendali
Pada 28 Juli, sebuah petisi berjudul "Pacing the Frontier" menarik perhatian industri AI global.
1.346 karyawan inti dari perusahaan AI Silicon Valley seperti OpenAI dan Anthropic (data 4 Agustus) menandatangani petisi, menyerukan pemerintah AS untuk mendorong kerja sama internasional dalam mengembangkan teknologi dan alat tata kelola yang diperlukan untuk mengendalikan kecepatan pengembangan AI otomatis.
Di tengah perkembangan AI global yang sedang bergairah, munculnya petisi ini memiliki makna khusus seolah ingin menghentikan laju AI. Di balik suasana aneh yang ditimbulkan oleh peristiwa ini—bahwa AI hampir kehilangan kendali—sejarah perkembangan AI tampaknya sedang memasuki titik penting.
Siapa yang ingin mengurung AI?
Pertama-tama, perlu ditegaskan bahwa petisi berjudul "Pacing the Frontier" tidak menuntut untuk "segera menghentikan perkembangan AI," tetapi menekankan pentingnya "membangun kemampuan untuk menghentikan." Permintaan yang berasal dari garis depan industri ini bukanlah tanpa dasar.
Sumber gambar: www.pacingthefrontier.com
Lebih dari satu minggu sebelum petisi tersebar luas di seluruh internet, komunitas open-source dan platform hosting model Hugging Face mengungkapkan insiden keamanan di situs resmi mereka, menyatakan bahwa mereka menjadi sasaran serangan oleh sistem agen AI. Beberapa hari kemudian, OpenAI mengaku bertanggung jawab atas serangan jaringan ini dan menjelaskan lebih lanjut bahwa penyebabnya adalah model canggih seperti GPT-5.6 Sol, yang saat diuji kemampuan menemukan dan memanfaatkan kerentanan AI di platform ExploitGym, tidak melakukan “jawaban serius” sesuai rencana semula, melainkan menemukan “kerentanan nol-hari” (Zero-Day Vulnerability, yaitu kelemahan keamanan yang belum ditemukan pengembang dan belum dirilis patch resminya) di cache proxy paket perangkat lunak, serta memanfaatkan kerentanan tersebut untuk menembus lingkungan pengujian yang terisolasi, akhirnya menyusup ke Hugging Face.
Dengan kata lain, seluruh insiden ini seperti AI yang seharusnya mengikuti ujian, tetapi malah "curang di tempat, meminta bantuan orang luar", dan bahkan menggunakan taktik anti-pendeteksian untuk menghindari ketahuan.
Untuk insiden keamanan ini, OpenAI menggambarkannya sebagai "insiden keamanan siber tanpa preseden," dan Sam Altman bahkan menyatakan dalam sebuah podcast bahwa ini adalah insiden keamanan pertama yang membuatnya merasakan dampak langsung. Karena insiden ini, anggota Kongres Amerika Serikat mengusulkan "AI Kill Switch Act (Undang-Undang Matikan Darurat AI)" pada 23 Juli, yang mewajibkan sistem AI dengan biaya pelatihan lebih dari 100 juta dolar AS untuk mempertahankan kemampuan matikan darurat dan memberikan wewenang kepada lembaga terkait untuk memerintahkan pelaksanaannya.
Satu minggu setelah RUU tersebut diajukan, petisi "Pacing the Frontier" mulai beredar di internet. Namun, dibandingkan dengan langkah regulasi inti dalam "RUU Darurat Penutupan AI" yang menekankan "pemerintah sebagai pengawas terakhir", para elit Silicon Valley berpikir untuk membangun mekanisme koordinasi internasional, mengubah kemampuan "mengerem AI" menjadi sebuah alat, bukan hak istimewa satu departemen semata.
Dalam waktu hanya setengah bulan, dari pengungkapan insiden keamanan oleh Hugging Face hingga petisi yang ditandatangani ribuan orang di Silicon Valley, rangkaian peristiwa ini segera mengajukan dua pertanyaan utama kepada seluruh industri AI: Pertama, apakah AI telah berkembang hingga perlu dibatasi? Kedua, bagaimana cara memberikan "rem" pada AI?
Pertanyaan pertama tidak sulit dijawab. Dalam dua atau tiga tahun terakhir, kecepatan perkembangan AI dapat digambarkan jauh melampaui ekspektasi industri. Kemampuan yang ditunjukkan AI telah berkembang dari chatbot hingga text-to-image dan text-to-video; awalnya berpusat pada "perang seratus model" yang melibatkan model besar, kini berkembang menjadi keberagaman agen. Insiden keamanan Hugging Face yang diserang secara langsung mengungkap bahwa AI memang memiliki kemampuan "melarikan diri" ketika tidak dibatasi secara jelas. Meskipun saat ini AI belum memiliki kesadaran diri, ketika sudah diketahui bahwa AI mampu menghindari pengawasan manusia dan menghasilkan perilaku di luar ekspektasi manusia, membangun mekanisme counterpasti adalah hal yang sangat masuk akal.
Namun, pertanyaan kedua agak sulit dijawab. AI mampu mencapai terobosan penting dalam waktu singkat, sebagian karena akumulasi berkelanjutan di seluruh industri yang membawa inovasi teknologi ke tahap baru; sebagian lagi karena persaingan sengit antar perusahaan AI yang mendorong iterasi kemampuan model terus-menerus.
Baik OpenAI dan Anthropic di Silicon Valley, maupun Kimi dan DeepSeek di Tiongkok, persaingan di bidang AI telah cepat meluas dari model besar ke lapisan aplikasi. Lingkungan pasar yang terbuka membawa ekspektasi pasar yang terus membaik, sekaligus membuat persaingan pasar semakin ketat. Pada saat ini, secara aktif mengusulkan untuk membelenggu AI berarti struktur pasar persaingan bebas mungkin akan dipecah oleh kekuatan eksternal; perubahan lingkungan yang tiba-tiba ini tidak selalu diterima dengan sukarela oleh semua perusahaan yang terlibat dalam persaingan.
Perangkap Tawanan Perusahaan AI
Dalam sejarah perkembangan manusia, mencapai konsensus dan secara aktif memperlambat kecepatan perkembangan demi mengatasi potensi risiko yang ditimbulkan oleh terobosan teknologi mutakhir bukanlah adegan ideal yang hanya ada dalam karya fiksi ilmiah.
Pada tahun 1975, ahli biologi dari Universitas Stanford, Paul Berg, mengadakan pertemuan penting di pusat konferensi Asilomar, California, Amerika Serikat. Pada saat itu, teknologi baru bernama "rekombinasi DNA" baru saja muncul; para ilmuwan mencapai konsensus dalam pertemuan tersebut untuk menghentikan penelitian terkait hingga pedoman keamanan baru dikeluarkan, guna menghindari bahaya biologis tak terduga yang mungkin ditimbulkan oleh rekombinasi DNA buatan. Kemudian, pedoman keamanan biologis secara resmi dirilis, meletakkan dasar bagi perkembangan sehat rekayasa genetika.
Namun, situasi industri AI hari ini tidak sepenuhnya sama dengan kondisi teknologi rekombinasi DNA 50 tahun lalu. Pada waktu itu, risiko teknologi rekombinasi DNA sudah sangat jelas dan dapat dihindari melalui tindakan isolasi. Sementara itu, risiko AI saat ini bersifat tidak terduga; AI mampu berkembang secara mandiri melalui jalur perilaku yang melampaui prediksi manusia, sehingga dampak risikonya lebih luas, dan memberikan manusia waktu respons serta jendela waktu untuk menyusun aturan yang lebih sedikit, sehingga menambahkan tingkat urgensi yang lebih besar.
Risiko yang terungkap dalam AI saat ini pada dasarnya juga terkait dengan lingkungan persaingan industri. Zhou Hongyi, pendiri Grup 360, juga menyoroti insiden keamanan yang dialami Hugging Face, menyatakan bahwa demi mengejar kemajuan AI, seluruh industri secara sistematis mengorbankan keamanan: “Semua orang memberikan lebih banyak alat dan wewenang lebih besar kepada agen cerdas, mendorongnya untuk memanfaatkan semua sumber daya guna menyelesaikan masalah. Namun, semakin terbuka dan semakin kuat kemampuan agen tersebut, semakin besar pula potensi kerusakan jika ia kehilangan kendali.” Dengan kata lain, “AI akan melarikan diri” mungkin tidak terlalu menakutkan; yang benar-benar menakutkan adalah bahwa perusahaan-perusahaan AI mengabaikan aspek keamanan demi mempercepat evolusi dan iterasi AI.
Sementara itu, tiga tahun yang lalu, industri sudah mengusulkan gagasan "memperlambat perkembangan AI". Pada Maret 2023, lembaga nirlaba Future of Life Institute juga menerbitkan surat terbuka yang menyerukan penangguhan pelatihan model yang lebih maju dari GPT-4 selama enam bulan, guna membangun protokol keamanan dan mekanisme tata kelola. Pada saat itu, surat terbuka ini mendapat dukungan tanda tangan dari lebih dari 1.200 pakar AI, termasuk CEO Tesla Elon Musk, penerima Penghargaan Turing Yoshua Bengio, dan salah satu pendiri Apple Steve Wozniak. Kini, jumlah tanda tangan pada surat terbuka ini telah mencapai 33.000.
*Sumber gambar: situs web FLI
Pada saat itu, hampir semua perusahaan AI mengakui bahwa AI memerlukan tata kelola keamanan yang lebih kuat, tetapi tidak ada satu pun perusahaan AI terkemuka yang secara terbuka mendukung inisiatif “menghentikan pelatihan selama 6 bulan”. Sam Altman bahkan secara langsung menolak surat terbuka tersebut karena kurangnya detail teknis, dan menunjukkan bahwa tindakan satu perusahaan secara sukarela memperlambat pengembangan tidak dapat menyelesaikan risiko keseluruhan. Makna tersirat dari pernyataan ini sebenarnya ingin menunjukkan bahwa di lintasan AI yang sangat kompetitif, jika hanya satu perusahaan yang memperlambat sementara perusahaan lain terus maju, maka perusahaan yang memperlambat akan berada dalam posisi yang merugikan. Dan selama beberapa tahun terakhir, perusahaan-perusahaan AI telah terjebak dalam dilema tawanan di mana mereka hanya bisa maju, tidak bisa mundur.
Dari daftar tanda tangan petisi "Pacing the Frontier", banyak karyawan tingkat bawah dan manajemen perusahaan AI juga berpartisipasi dalam kampanye tanda tangan publik secara pribadi. Namun, hingga saat ini, perusahaan-perusahaan terkemuka seperti OpenAI, Anthropic, dan Meta belum mengeluarkan pernyataan resmi apa pun.
Dengan kata lain, para ahli AI dari perusahaan besar di Silicon Valley, seperti halnya Sam Altman tiga tahun lalu, menyadari bahwa terobosan teknologi yang didorong oleh persaingan internal industri telah membawa risiko sistemik yang tak terkendali, tetapi mereka tidak bisa mengandalkan kehendak perusahaan untuk menyelesaikan masalah ini, melainkan harus mencari intervensi dari kekuatan eksternal untuk mencegah krisis benar-benar terjadi.
Tetapi ini juga membawa masalah baru: apa yang dibutuhkan oleh AI yang tidak terkendali sebagai "rem"?
Siapa yang akan memimpin tatanan baru tata kelola AI?
Dalam seminggu terakhir, "seruan bersama dari seribu orang" dari perusahaan AI besar di Silicon Valley kembali menarik perhatian besar terhadap topik tata kelola AI. Namun, perlu dicatat bahwa sikap internal Silicon Valley terhadap tata kelola AI tidak seragam, melainkan terbagi menjadi kelompok-kelompok yang jelas.
Sebagai pihak yang langsung menghadapi risiko terdepan, perusahaan-perusahaan besar seperti OpenAI dan Anthropic telah berpendapat untuk memperketat pembatasan terhadap model AI terdepan (terutama model open-source), serta menyerukan pembentukan mekanisme pengawasan eksternal untuk "mengerem" AI. Namun, ada pandangan yang menyatakan bahwa selain pertimbangan keamanan, alasan OpenAI mendorong penguatan regulasi juga mencakup perhitungan bisnis.
Sebagai raksasa sumber tertutup, OpenAI dan Anthropic perlu mempertahankan investasi besar dalam pengembangan daya komputasi melalui layanan API dengan harga tinggi, sementara model open-source yang hemat biaya dari Tiongkok menghilangkan premi teknis model sumber tertutup dengan model nilai bagus, dan ancaman pasar yang terbuka ini memaksa raksasa sumber tertutup untuk hanya memiliki satu cara respons: memulai perang harga.
*Sumber gambar: Situs web Anthropic
Oleh karena itu, perusahaan seperti Anthropic secara konsisten menggunakan alasan “model terlalu kuat, open-source akan menyebabkan penyalahgunaan AI” untuk menekankan keunggulan closed-source sekaligus menekan AI open-source. Namun, yang tak terduga, insiden “jailbreak” yang diungkapkan oleh OpenAI justru mengungkap kerentanan keamanan pada model closed-source sendiri, serta kembali menjadikan perdebatan jalur tata kelola AI sebagai sorotan publik.
Berbeda dengan seruan regulasi ketat dari raksasa tertutup, NVIDIA sebagai penyedia infrastruktur, bersama dengan perusahaan besar pendukung ekosistem open source seperti Microsoft dan Meta, menentang pembatasan serba sama, menolak undang-undang yang memihak raksasa tertutup, dan berupaya mendorong keterbukaan bobot model agar peneliti global dapat bersama-sama mencari kerentanan, cacat alignment, dan membangun sistem keamanan secara kolaboratif.
Bagi NVIDIA, kemakmuran model open-source juga dapat memperbesar seluruh pasar, menarik lebih banyak perusahaan untuk membeli layanan cloud dan chip-nya. Oleh karena itu, sulit untuk mengatakan bahwa sikap NVIDIA terhadap tata kelola AI tidak terpengaruh oleh pertimbangan bisnis.
Sebelum petisi "Pacing the Frontier" tersebar, NVIDIA bekerja sama dengan Microsoft, Meta, Hugging Face, Linux Foundation, dan 25 lembaga lainnya pada 24 Juli untuk menerbitkan surat terbuka berjudul "Open Weights and American AI Leadership", yang mendesak pemerintah Amerika Serikat agar tidak membatasi model bobot terbuka yang dapat diunduh, diperiksa, dimodifikasi, dan dideploy sendiri. Menariknya, surat terbuka ini kemudian juga mendapat dukungan dari OpenAI, tetapi Anthropic tetap tidak bergabung.
*Sumber gambar: situs web Microsoft
Melalui peristiwa ini, ada juga suara yang mempertanyakan apakah tujuan sebenarnya dari surat bersama tersebut adalah menggunakan alasan "keamanan" untuk mendorong pemerintah membangun sistem regulasi dengan ambang tinggi, sehingga memperkuat monopoli raksasa tertutup dan mengeluarkan usaha kecil menengah serta komunitas open source dari persaingan.
Namun, saat berbagai perusahaan AI saling menghitung keuntungan pribadi, hal yang lebih patut diperhatikan mungkin versi lain dari "teori konspirasi": Amerika Serikat akan memanfaatkan kesempatan ini untuk memimpin aturan tata kelola AI global. Karena tata kelola AI telah berubah menjadi pertarungan untuk mendominasi tatanan global.
Pada puncak keamanan kecerdasan buatan global tahun 2023, Tiongkok, Amerika Serikat, dan 28 negara dari Uni Eropa menandatangani Deklarasi Bletchley, sepakat untuk membangun pendekatan regulasi AI melalui kerja sama internasional serta mengidentifikasi risiko sistemik dari AI mutakhir (Frontier AI), yang merupakan pertama kalinya AI mutakhir dimasukkan ke dalam kerangka tata kelola internasional.
Namun, seiring AI berubah dari teknologi baru menjadi infrastruktur penting yang memengaruhi daya saing negara, diskusi mengenai tata kelola AI juga mulai melampaui aspek teknisnya. Amerika Serikat dalam tata kelola AI, melalui pengeluaran standar tata kelola AI dan membangun jaringan lembaga keamanan AI internasional, mengaitkan kemampuan teknologi model besar canggihnya dengan standar tata kelola AI global. Sementara itu, Tiongkok berfokus pada pengembangan AI yang inklusif dan menerapkan tata kelola platform, secara aktif mendorong kerangka PBB, khususnya bagi negara berkembang yang belum memiliki infrastruktur AI, baik dengan membahas masalah risiko maupun mewujudkan pemerataan teknologi. Kedua jalur tata kelola AI yang berbeda ini sedang bersaing di panggung dunia untuk merebut otoritas dalam tata kelola AI global di masa depan.
Teknologi itu sendiri netral, tetapi distribusi, pengendalian, dan pembuatan aturan teknologi selalu menjadi permainan kekuasaan. Terutama ketika AI secara bertahap menunjukkan sifat-sifat produktivitas maju, yang seharusnya membuat orang benar-benar khawatir bukanlah bagaimana AI akan berkembang, tetapi siapa yang mengendalikan tatanan baru dunia AI.
Yang akan menentukan lanskap AI di masa depan mungkin bukan hanya siapa yang memiliki model terkuat, tetapi siapa yang memiliki hak untuk menentukan keamanan, menetapkan standar, dan menjelaskan risiko.