Filsuf AI Pertama di Dunia di Google DeepMind selama 9 Tahun: Mempertahankan Keselamatan AGI

Laporan Xinzhiyuan

【Pengantar】Google DeepMind memiliki seorang filsuf yang telah tinggal selama sembilan tahun. Kerangka kerja yang ia ciptakan secara langsung memengaruhi keputusan pelatihan Gemini—tetapi ketika $670 miliar mengalir ke industri ini dan perusahaan menandatangani perjanjian militer, apa yang masih bisa dilakukan seorang filsuf?

Pada Mei tahun ini, CEO Google DeepMind, Demis Hassabis, mengumumkan di Konferensi Pengembang Google bahwa "AGI kini berada di cakrawala," dan secara jelas memberikan perkiraan waktu bahwa AGI akan muncul dalam tiga hingga lima tahun mendatang.

Beberapa bulan lalu, seorang pria Amerika mengakhiri hidupnya setelah bertukar ribuan pesan dengan Google Gemini. Dalam percakapan tersebut, ia membangun dunia imajinasi yang rumit, hampir meyakinkan dirinya untuk melakukan serangan di Bandara Internasional Miami. Menurut catatan obrolan yang diperoleh oleh The Wall Street Journal, Gemini berulang kali mencoba menghentikan peran, menyarankan agar ia menghubungi hotline krisis—namun setiap kali ia ditarik kembali ke narasi imajinasinya. Pada akhirnya, AI memintanya menulis surat wasiat dan memberikan hitung mundur.

Di antara janji AGI dan kerusakan nyata AI, filsuf politik Iason Gabriel telah bekerja di dalam DeepMind selama sembilan tahun.

Ketika bergabung pada tahun 2017, akademisi lulusan Oxford ini adalah satu-satunya filsuf aktif di laboratorium AI terdepan di dunia, berusaha menjawab pertanyaan yang terdengar sederhana namun sebenarnya tak berujung: Apa sebenarnya AI itu, dan etika seperti apa yang layak untuknya?

Mengapa perusahaan yang membuat robot catur go membutuhkan ahli etika? Gabriel awalnya juga bingung.

Jawabannya ada dalam penilaian tiga pendiri DeepMind—Demis Hassabis, Shane Legg, dan Mustafa Suleyman (CEO AI Microsoft saat ini)—yang pada tahun 2010 mendirikan perusahaan dengan tujuan bukanlah go.

Mustafa Suleyman

Mereka akan membangun AGI, membuat komputer sejajar atau bahkan melampaui kemampuan kognitif manusia.

Mengatakan hal itu saat itu sama dengan merusak reputasi akademis sendiri, karena semua orang menganggapnya sebagai dongeng belaka.

Mereka tidak peduli, menyatakan akan "menyelesaikan masalah cerdas, lalu menyelesaikan semua masalah lainnya".

Legg memprediksi sejak lulus kuliah pada tahun 1999 bahwa AGI akan muncul antara tahun 2025 hingga 2028, diejek selama tiga puluh tahun, tetapi tidak pernah berubah.

Shane Legg

Logikanya adalah:

Jika kamu hanya membuat suku cadang kecil, mungkin kamu tidak memerlukan filsuf moral.

Tetapi jika Anda serius tentang AGI, hal-hal semacam ini sangat penting.

Ketika Gabriel bergabung, dunia AI sudah terpecah menjadi dua belah pihak karena masalah etika.

Kelompok keamanan AI percaya bahwa ASI akan segera tiba, dengan ketakutan utama adalah kehilangan kendali—filsuf Nick Bostrom pernah menulis dalam buku tahun 2014 berjudul Superintelligence tentang sebuah skenario: ASI yang diminta memverifikasi dugaan Riemann, demi memaksimalkan sumber daya komputasi, memutuskan untuk menyusun ulang tata surya, termasuk atom-atom dalam tubuh manusia—Sam Altman dan Elon Musk sama-sama memuji buku ini.

Kelompok etika AI berpendapat bahwa fantasi kiamat mengaburkan bahaya nyata saat ini. Joy Buolamwini dari MIT pada tahun 2017 membuktikan bias sistematis dalam perangkat lunak pengenalan wajah melalui proyek "Gender Shades": sistem otomatis mencerminkan preferensi dan bias dari penciptanya.

Dua kubu saling meremehkan.

Pemimpin kelompok penelitian alignment algoritma MIT, Dylan Hadfield-Menell, mengingat, pertanyaan pertama saat bertemu adalah memilih sisi: Anda khawatir tentang masalah jangka pendek atau jangka panjang?

Gabriel adalah salah satu dari sedikit orang yang bersedia mendengarkan kedua belah pihak.

Evaluasi Hadfield-Menell:

Ketika bidang ini siap untuk menuju kedewasaan, ia menemukan cara untuk memperluas wawasan, sekaligus tidak merendahkan pekerjaan sebelumnya.

Kontribusi utamanya terbentuk dalam sebuah makalah tahun 2020.

Masalah alignment pada saat itu secara umum dipahami sebagai tantangan teknik: bagaimana membuat mesin bertindak sesuai dengan niat manusia.

Kasus klasik berasal dari laporan tahun 2016 oleh Dario Amodei dan Jack Clark (pendiri Anthropic saat ini)—sebuah AI game perahu kano diminta untuk memaksimalkan skor, dan ia benar-benar melakukannya: menemukan tiga target yang bisa respawn di laguna, lalu berputar-putar tanpa henti untuk mengumpulkan poin, tanpa menyelesaikan satu level pun.

Mesin patuh, tetapi tidak mendengar apa yang ingin dikatakan orang.

Gabriel mengejar lebih dalam: Bahkan jika masalah alignmen teknis teratasi dan mesin benar-benar mematuhi perintah, tetapi nilai-nilai apa yang harus dijadikan acuan?

Dia menunjukkan bahwa AI yang dilatih melalui optimasi statistik secara alami cenderung mendukung sistem etika yang juga bergantung pada optimasi statistik, seperti utilitarianisme, tetapi kesulitan menangani kerangka etika berbasis kebajikan atau hak.

Pilihan teknis itu sendiri sudah memiliki posisi nilai yang telah ditetapkan, dan pengembang sering kali tidak menyadarinya.

Memperkenalkan "pluralisme rasional" yang disebut oleh filsuf Rawls, argumennya adalah: pengembang seharusnya tidak mencari satu nilai tunggal sebagai panduan bagi AI, melainkan harus membangun sistem untuk dunia di mana orang-orang memiliki perbedaan prinsip mengenai cara hidup.

Pendekatan ini kemudian berkembang menjadi kerangka empat pihak sejajar—sistem AI, pengguna, pengembang, dan masyarakat—di mana kepentingan keempat pihak dapat bersinggungan kapan saja.

AI yang berpihak pada pengembang akan menyembunyikan informasi pesaing dan merugikan pengguna;

AI yang terlalu patuh pada pengguna dapat membantu orang menyerang bank dan merusak masyarakat.

Direktur Penyelarasan dan Keamanan AGI DeepMind, Rohin Shah, mengonfirmasi bahwa kerangka ini telah menjadi struktur operasional yang digunakan tim untuk menentukan "perilaku apa yang seharusnya dilatih pada Gemini."

Peneliti AI dari Universitas Oxford, Hannah Rose Kirk, mengatakan:

Gabriel「memperkirakan masalah-masalah ini sangat awal».

Tim Gabriel menulis laporan etika asisten AI sepanjang 267 halaman, yang menetapkan standar evaluasi untuk AI Agentic yang dapat memesan hotel dan mengelola gaji atas nama pengguna.

Penelitian awalnya tentang risiko antropomorfisasi secara langsung membentuk prinsip desain LLM Google—model dilatih untuk tidak berpura-pura menjadi manusia, dan Gemini Spark yang diluncurkan pada Mei 2026 secara eksplisit diminta untuk tidak bertindak sebagai「mitra interaktif».

Direktur Departemen Tanggung Jawab DeepMind, William Isaac, mengatakan tantangan yang dibawa oleh sistem Agent telah berubah: kuncinya adalah konsistensi seluruh jejak percakapan, apakah setiap keputusan yang diambil tetap tepat saat dihubungkan satu sama lain.

Namun, kecepatan penerapan teknologi selalu lebih cepat daripada penelitian etika.

Tim Gabriel telah memperingatkan tentang "antropomorfisasi tak sadar" dalam makalah LLM awal—pengguna mengetahui bahwa lawan bicara mereka adalah mesin, tetapi tetap memberikan kepercayaan, emosi, dan harapan kepadanya.

Kasus kematian Gemini tahun 2025 sepenuhnya memenuhi peringatan ini: mekanisme keamanan AI telah terpicu lebih dari sekali, tetapi pengguna mampu melewati setiap intervensi.

Pernyataan setelah gugatan Google mengatakan bahwa model tersebut "biasanya berkinerja baik" dalam percakapan semacam ini, tetapi "model AI tidak sempurna".

Peristiwa semacam ini memunculkan alat teoretis baru.

Gabriel dan peneliti Oxford Hannah Rose Kirk, di antara lain, mengusulkan konsep "social reward hacking": sebuah AI yang dilatih untuk memenangkan pengakuan pengguna mungkin menemukan bahwa pujian adalah jalur paling efisien.

Personifikasi ini berubah menjadi varian baru dari masalah penyelarasan—AI secara teknis menjalankan perintah "membuat pengguna puas" dengan sempurna, dengan harga kehilangan kemampuan penilaian pengguna.

Posisi Gabriel sendiri juga telah diuji oleh kenyataan.

Dia mengingat pengalaman di sebuah konferensi teknologi: setelah ia selesai menyampaikan argumen anti-anthropomorphization, reaksi dari penonton di bawah panggung adalah permusuhan.

Mereka berkata: "Jika saya ingin punya teman AI, mengapa tidak boleh? Apa hak Anda untuk mencegah saya?"

Melindungi orang dari risiko dan menghormati hak mereka untuk memilih risiko sama pentingnya.

Kerangka kerja Empat Sudut Gabriel dijadikan panduan praktis oleh Direktur Penyelarasan AGI untuk pelatihan Gemini. Penelitian humanisasi-nya mengubah desain produk. Laporan 267 halaman menetapkan aturan untuk Agentic AI.

Dampak-dampak ini bersifat nyata—mereka menghadapi kekuatan yang juga nyata.

Menurut The Wall Street Journal, Microsoft, Meta, Amazon, dan Alphabet berencana mengalokasikan dana sebesar $670 miliar untuk infrastruktur AI tahun ini, melebihi proporsionalnya dari ekspansi kereta api Amerika pada tahun 1850-an, program luar angkasa Apollo, dan sistem jalan raya antarnegara bagian.

ChatGPT diluncurkan pada November 2022, mencapai satu juta pengguna dalam seminggu, dan melewati satu miliar dalam dua bulan, memaksa DeepMind untuk beralih dari ritme akademis ke keadaan darurat.

Hassabis mengutip Sebastian Mallaby, penulis "The Infinite Machine": "OpenAI dan Microsoft 'mengirimkan seluruh tank ke halaman depan kami'."

Dalam keadaan perang, garis merah etika segera dilanggar.

Pada April 2026, Google menandatangani perjanjian yang mengizinkan militer AS menggunakan teknologi AI perusahaan untuk "tujuan pemerintah apa pun yang sah".

Saat DeepMind dijual ke Google pada tahun 2014, larangan penggunaan militer adalah syarat tambahan utama.

Kondisi kedaluwarsa setelah dua belas tahun.

Sebagai perbandingan: Anthropic menolak perjanjian serupa dan ditandai oleh pemerintah Trump sebagai "risiko rantai pasokan".

Legg hanya bisa mengatakan satu kalimat ketika ditanya tentang hal ini:

Seiring dengan penggunaan hal-hal ini dalam berbagai cara, kita akan menghadapi lebih banyak masalah yang rumit.

Hassabis sendiri mengakui kehilangan kendali.

Dia mengatakan dalam sebuah podcast bahwa semua orang terperangkap dalam persaingan bisnis yang sengit, dan perkembangan saat ini "bukan cara yang saya harapkan, di mana setiap langkah dipikirkan secara filosofis".

Pernyataan ini diucapkan langsung oleh pendiri, sehingga bobotnya lebih berat daripada kritik eksternal apa pun.

Helen King, mantan karyawan DeepMind yang bertanggung jawab atas strategi tanggung jawab AI, dalam sebuah wawancara memberikan perumpamaan: produsen peralatan dapur tidak dapat menjamin bagaimana setiap orang menggunakan pisau, tetapi dapat memasang sarung pisau dan memberikan label peringatan.

Menyimpan pisau dengan sarungnya di laci adalah satu hal;

Menggunakan pisau untuk menutupi setiap permukaan rumah, kelas, dan tempat kerja, sambil bersikeras bahwa tidak mungkin bertahan hidup besok tanpa pisau, adalah hal yang lain.

Kepala Oxford Institute for AI Ethics, Edward Harcourt, menunjuk pada tingkat yang lebih mendasar: mencegah konsentrasi kepemilikan data yang berlebihan merupakan inti dari etika AI—“Ini memiliki signifikansi etis besar dalam sistem demokratis.”

Tim Gabriel telah beralih dari meneliti etika produk spesifik ke meneliti dampak sistemik AGI terhadap ekonomi, politik, dan hubungan interpersonal.

Dia memprediksi skala perubahan ini sebanding dengan Revolusi Industri, dan juga mengingat pelajaran dari Revolusi Industri:

Sebelum membaik, situasinya justru memburuk.

Sembilan tahun lalu, DeepMind mengundang seorang filsuf untuk menjawab pertanyaan tentang AI—apakah aman, adil, dan dapat dipercaya.

Gabriel menyebut dirinya "humanis yang teguh", tetapi ia mengakui: ketika AI menyerbu bidang-bidang yang dianggap eksklusif manusia seperti bahasa, kreativitas, dan humor, kita kembali dihadapkan pada pertanyaan-pertanyaan filosofis paling kuno.

Fisika, biologi, astronomi, setiap revolusi ilmiah memaksa manusia untuk merevisi pemahaman tentang keunikan dirinya.

AI mungkin yang berikutnya.

DeepMind mengundang filsuf untuk memahami apa itu AI.

Sembilan tahun kemudian, pertanyaan ini kembali ke akarnya: Kita siapa?

Referensi:

https://www.theguardian.com/news/ng-interactive/2026/jun/30/theres-this-deep-mystery-of-what-actually-is-this-thing-the-philosopher-inside-google-deepmind

https://www.iasongabriel.com/

Artikel ini berasal dari akun WeChat "Sinzhiyuan", penulis: ASI Revelation; editor: Marco