Kertas Timnit Gebru tahun 2020 Memperkirakan Risiko AI Besar yang Kini Terwujud

Jika kita memutar waktu kembali ke tahun 2020, sebagian besar praktisi AI masih membahas seberapa kuat GPT-3.

Pada saat itu, AI generatif belum menjadi fokus global, ChatGPT belum akan dirilis selama dua tahun lagi, dan model besar belum memicu gelombang investasi global seperti sekarang. Namun, pada tahun itu, seorang peneliti AI puncak Google kehilangan pekerjaannya setelah bentrokan sengit dengan perusahaan terkait sebuah makalah yang belum dipublikasikan.

Pada saat itu, banyak orang menganggap ini hanyalah kontroversi sekali lagi dari Silicon Valley mengenai manajemen tempat kerja, publikasi akademik, dan budaya perusahaan; namun kini ketika melihat kembali, orang-orang menyadari bahwa peringatan dalam makalah tersebut hampir semuanya terwujud di dunia nyata.

Dan peneliti yang dipecat adalah salah satu tokoh paling berpengaruh di bidang etika AI—Timnit Gebru.

Pada Desember 2020, Timnit Gebru mengumumkan di platform sosial bahwa ia telah dipecat oleh Google.

Pesan itu segera memicu ledakan di seluruh komunitas penelitian AI. Karena pada saat itu, Gebru bukanlah seorang peneliti biasa, melainkan salah satu pemimpin bersama Tim AI Etis Google dan salah satu akademisi terkemuka di dunia dalam bidang keadilan AI dan bias algoritmik.

Gebru, yang lahir di Etiopia, telah lama memperhatikan masalah bias rasial, diskriminasi gender, dan keadilan sosial dalam bidang AI. Sebelum bergabung dengan Google, ia melakukan penelitian di Universitas Stanford. Pada tahun 2018, salah satu penelitiannya tentang bias algoritmik yang ia ikuti publikasikan dianggap oleh banyak orang sebagai titik balik penting dalam penelitian keadilan AI. Pada tahun yang sama, Google merekrutnya dan secara terbuka menunjukkan komitmen perusahaan terhadap "AI yang Bertanggung Jawab (Responsible AI)".

Namun hanya dua tahun kemudian, kedua belah pihak berpisah.

Pada saat itu, Google menyatakan secara publik bahwa Gebru mengajukan pengunduran diri secara sukarela, tetapi Gebru sendiri memberikan versi yang sama sekali berbeda: ia menyatakan bahwa selama liburan, ia menerima email dari perusahaan yang memberitahunya bahwa pengakhiran pekerjaannya langsung berlaku, dan semua akses ke sistem internal serta emailnya segera dinonaktifkan.

Menurutnya, ini adalah pemecatan yang tak diragukan lagi.

Selanjutnya, lebih dari 4.000 karyawan Google dan profesional industri menandatangani surat terbuka yang mempertanyakan cara perusahaan menangani hal ini, menuntut pemulihan jabatan Gebru—dan semua ini dipicu oleh sebuah makalah akademis yang hanya berisi 14 halaman.

Paper ini berjudul "On the Dangers of Stochastic Parrots" ("Bahaya Paruh Stokastik"), yang ditulis oleh Timnit Gebru, profesor linguistik dari Universitas Washington Emily Bender, dan dua peneliti lainnya, dan telah dikutip lebih dari 14.000 kali.

Kemudian, nama "burung beo acak" juga menjadi luas dikenal. (Alamat makalah: https://s10251.pcdn.co/pdf/2021-bender-parrots.pdf)

Penelitian tersebut menunjukkan bahwa model bahasa besar pada dasarnya mereproduksi pola bahasa berdasarkan pola statistik: mereka mampu menghasilkan teks yang lancar, alami, bahkan logis, tetapi tidak benar-benar memahami makna bahasa—seperti seekor beo yang belajar meniru ucapan manusia, tampak cerdas, tetapi sebenarnya peniruan ini hanya didasarkan pada sejumlah besar teks internet. Sementara itu, internet sendiri penuh dengan bias, diskriminasi, dan konten kebencian. Oleh karena itu, model besar sangat mungkin mempelajari masalah-masalah ini secara bersamaan dan terus memperbesarnya saat menghasilkan konten.

Perlu diketahui, itu tahun 2020, saat GPT-3 baru dirilis, ChatGPT belum ada, dan gelombang model besar masih jauh dari datang, makalah ini sudah memprediksi salah satu masalah paling menyulitkan bagi industri saat ini.

Setelah makalah ini diajukan ke konferensi etika AI kelas atas, manajemen Google meminta agar makalah tersebut ditarik atau nama peneliti Google dihapus. Gebru menolak permintaan tersebut, ia meminta perusahaan untuk menjelaskan alasan spesifiknya dan berharap kedua belah pihak dapat melakukan diskusi lebih lanjut.

Sementara itu, dia juga mengirimkan email yang tajam ke grup karyawan internal Google.

Dalam email tersebut, Gebru mengkritik Google karena kurangnya tindakan nyata dalam mendorong rekrutmen kelompok minoritas dan menangani ketidaksetaraan internal. Dia menulis: "Ketika Anda mulai berbicara untuk kelompok yang kurang beruntung, situasi Anda akan semakin memburuk. Anda akan membuat para pemimpin lain merasa tidak nyaman." Dia juga menyatakan bahwa jika perusahaan terus gagal menjelaskan mengapa paper tersebut ditarik, dia akan memilih untuk mengundurkan diri pada waktu yang tepat.

Perkembangan peristiwa jauh melampaui perkiraannya. Gebru menyatakan bahwa Google kemudian merespons bahwa mereka tidak akan memenuhi permintaannya dan langsung menerima "pengunduran dirinya", serta segera mencabut semua hak aksesnya.

Pada saat itu, peristiwa tersebut cepat berkembang menjadi salah satu topik paling kontroversial di bidang AI global.

Yang membuat peristiwa ini terus dibahas hingga kini bukanlah pemecatan itu sendiri, melainkan isi makalah tersebut—karena jika kita melihat kembali hari ini, hampir setiap kekhawatiran yang diangkat di dalamnya telah menjadi masalah nyata yang dihadapi industri AI.

(1) Peringatan pertama: Model akan "berbicara sembarangan"

Pada tahun 2020, GPT-3 baru saja dirilis. Pada saat itu, orang-orang terkesan dengan kemampuan model dalam menghasilkan teks, tetapi jarang ada yang membahas keandalannya secara serius.

Gebru dan Bender menunjukkan: seiring dengan terus membesarnya ukuran model, orang akan semakin mudah salah menganggap ekspresi yang lancar sebagai pemahaman yang sejati. Model tampak seperti sedang berpikir, padahal sebenarnya hanya memprediksi kata berikutnya yang paling mungkin muncul, sehingga pada akhirnya model akan menghasilkan informasi yang tampak masuk akal tetapi sama sekali salah.

Dan hari ini, masalah ini memiliki nama yang dikenal semua orang: AI Hallucination. Baik itu ChatGPT, Gemini, Claude, atau model canggih lainnya, masalah hallucination belum sepenuhnya teratasi hingga kini.

Dalam beberapa hal, makalah ini telah memprediksi dengan akurat "hallucination" sebelum istilah tersebut menjadi tren di industri.

(2) Peringatan kedua: Bias tidak akan hilang, tetapi akan diperbesar

Paper tersebut juga menunjukkan bahwa internet sendiri bukanlah sumber data netral, dan data pelatihan secara alami mengandung berbagai bias ras, gender, budaya, dan geografis. Model tidak hanya akan mempelajari bias-bias ini, tetapi juga berpotensi memperkuatnya lebih lanjut karena mekanisme optimasi.

Kemudian, berbagai masalah nyata mengonfirmasi kekhawatiran ini:

Amazon pernah mencoba menggunakan AI untuk menyaring resume pelamar kerja, tetapi sistem secara otomatis menurunkan skor resume yang berisi kata kunci seperti "women".

Sistem penilaian risiko medis yang digunakan oleh banyak rumah sakit besar di Amerika Serikat ditemukan secara konsisten meremehkan kebutuhan medis pasien kulit hitam.

Apple Card juga menarik perhatian regulator karena wanita menerima limit kredit jauh lebih rendah daripada pria.

Semua contoh ini menunjukkan bahwa algoritma tidak secara otomatis mencapai keadilan, sebaliknya, ia dapat memperkuat ketidaksetaraan di dunia nyata dengan cara yang lebih tersembunyi.

(3) Peringatan ketiga: Konsumsi energi AI akan menjadi masalah baru

Pada tahun 2020, biaya daya komputasi jauh belum sebegitu diperhatikan seperti hari ini, tetapi makalah tersebut sudah mulai membahas dampak lingkungan dari pelatihan model super besar. Menurut perkiraan peneliti, emisi karbon yang dihasilkan dari pelatihan satu model bahasa besar setara dengan total emisi selama siklus hidup lima mobil—pada saat itu, pernyataan ini dianggap terlalu pesimistis oleh banyak orang.

Namun, seiring infrastruktur dasar AI memasuki tahap perlombaan senjata, masalah segera muncul: menurut data yang diungkapkan secara publik oleh Google, emisi gas rumah kaca perusahaan pada tahun 2024 meningkat 48% dibandingkan tahun 2019; Microsoft juga mengalami peningkatan sekitar 29% pada periode yang sama. Kedua perusahaan ini secara jelas menyatakan bahwa pusat data AI dan infrastruktur komputasi merupakan salah satu penyebab utama.

Ironisnya, raksasa teknologi ini beberapa tahun lalu masih giat mempromosikan target netralitas karbon.

(4) Peringatan keempat: Tidak ada yang benar-benar tahu apa yang ada dalam data pelatihan

Bagi banyak orang, pelatihan data tampaknya hanya masalah teknis. Namun, Gebru percaya bahwa seiring dengan semakin besarnya skala data, audit lengkap terhadap data pelatihan akan menjadi hampir tidak mungkin.

Pandangannya kembali terbukti: pada tahun 2023, para peneliti menemukan sejumlah besar gambar pelecehan anak dalam dataset LAION-5B yang banyak digunakan untuk melatih model generasi gambar, termasuk beberapa model utama seperti Stable Diffusion yang pernah menggunakan dataset ini.

Seperti yang diharapkan, banyak pengembang sebelumnya tidak mengetahui keberadaan konten ini. Artinya, bahkan pengembang model sendiri pun belum tentu benar-benar memahami apa yang “dimakan” oleh model—dan inilah salah satu pertanyaan pertama yang diajukan dalam makalah tersebut.

(5) Peringatan kelima: Internet secara bertahap akan didominasi oleh konten AI

Menurut Google, ini mungkin merupakan bagian paling sensitif dari seluruh makalah tersebut. Gebru dan Bender berpendapat bahwa perkembangan model besar pada akhirnya akan memusatkan wacana bahasa dan budaya ke tangan sejumlah sangat sedikit raksasa teknologi. Alasannya sederhana: pelatihan model super besar memerlukan dana, daya komputasi, dan sumber daya data dalam jumlah besar, sehingga hanya sedikit perusahaan yang benar-benar mampu bersaing.

Seiring berjalannya waktu, suara dominan di internet akan secara bertahap berkembang menjadi rata-rata statistik yang dilatih oleh beberapa perusahaan, lalu disebarkan ke seluruh dunia dengan identitas sebagai "asisten netral". Sementara itu, bahasa dan budaya yang memiliki representasi rendah dalam data pelatihan akan semakin terpinggirkan.

Lebih serius lagi, ketika konten yang dihasilkan AI masuk kembali ke internet dan menjadi data pelatihan untuk putaran berikutnya, masalah ini terus memperkuat dirinya sendiri—ini precisely apa yang saat ini disebut para peneliti sebagai "Model Collapse".

Sebuah penelitian pada tahun 2024 menemukan bahwa sekitar 57% konten baru di internet berbahasa Inggris telah dihasilkan oleh AI atau dibantu oleh AI; sementara penelitian terhadap bahasa dengan sumber daya rendah menemukan bahwa karena data pelatihan semakin banyak berasal dari konten yang dihasilkan AI, kualitas terjemahan sebagian bahasa telah mengalami penurunan yang jelas.

Dengan kata lain, makalah ini tidak hanya memprediksi fenomena "model collapse", tetapi bahkan telah mengidentifikasi mekanisme pembentukannya sebelum konsep ini secara resmi muncul.

Setelah kejadian itu, banyak orang kemudian menggambarkan Gebru sebagai "anti-AI". Sebenarnya tidak demikian; ia tidak pernah menyerukan penghentian pengembangan AI. Sejak awal, ia mempertanyakan hal lain:

Siapa sebenarnya yang menentukan arah pengembangan AI?

Menurutnya, para peneliti dan manajemen yang mendorong pengembangan model besar seringkali memiliki latar belakang serupa, melayani tujuan bisnis yang sama, dan didorong oleh tekanan persaingan yang sama. Dalam mekanisme insentif semacam ini, mempercepat peluncuran produk, mempercepat pertumbuhan basis pengguna, dan mempercepat kemenangan dalam persaingan pasar seringkali memiliki prioritas lebih tinggi daripada masalah keamanan, keadilan, dan etika.

Dan semua orang yang mencoba memperlambat proses ini mungkin dianggap sebagai penghambat. Ironisnya, Gebru justru mengemukakan pandangan ini di dalam Google, dan Google sendiri memberikan catatan realitas paling dramatis terhadap pandangan tersebut dengan memecatnya.

Yang lebih menyedihkan, tak lama setelah kejadian tersebut, co-head tim AI etis lainnya, Margaret Mitchell, juga dipecat—dalam waktu hanya 90 hari, tim AI etis yang dulu menjadi kebanggaan Google hampir sepenuhnya dibubarkan.

Setelah meninggalkan Google, pada tahun 2021 Gebru mendirikan Distributed AI Research Institute (DAIR). Berbeda dengan perusahaan teknologi besar, lembaga ini bertujuan untuk melakukan penelitian AI di luar kepentingan komersial, dengan tujuan yang sangat jelas: meneliti masalah-masalah yang mungkin tidak ingin dihadapi oleh raksasa teknologi. Selama beberapa tahun terakhir, DAIR terus memperhatikan isu-isu seperti sumber data, keadilan algoritmik, keragaman bahasa, dan konsentrasi kekuasaan dalam industri AI.

Sementara itu, seiring dengan perkembangan pesat AI generatif, semakin banyak peneliti juga mulai memperhatikan kembali makalah "Bahaya Paruh Acak": karena mereka menemukan bahwa masalah yang dianggap berlebihan pada saat itu kini telah menjadi kenyataan yang dibahas setiap hari di industri.

Enam tahun berlalu, mengenai kontroversi antara Timnit Gebru dan Google, pihak luar mungkin tidak akan pernah mendapatkan jawaban yang disepakati semua orang.

Google menganggap itu adalah proses tinjauan akademis dan kepergian yang normal; Gebru percaya bahwa dirinya mengalami tekanan karena berpegang pada publikasi hasil penelitiannya. Namun, satu hal semakin sulit untuk disangkal:

Paper yang menyebabkannya meninggalkan Google tidak kehilangan maknanya meskipun kontroversinya telah berakhir.

Sebaliknya, isu-isu seperti ilusi, bias, pencemaran data, biaya lingkungan, keruntuhan model, dan konsentrasi kekuasaan yang dibahasnya kini telah menjadi topik yang tak bisa dihindari oleh seluruh industri AI.

Kadang-kadang, sejarah memberikan penilaian dengan cara yang tak terduga.

Pada tahun 2020, banyak orang merasa Timnit Gebru terlalu pesimis;

Pada tahun 2026, orang-orang mulai menyadari bahwa mungkin dia hanya lebih awal melihat masalah tersebut dibandingkan yang lain.

Tautan referensi: https://www.tumblr.com/dreaminginthedeepsouth/817865966907228160/darren-oconnor-timnit-gebru-was-fired-from

Artikel ini berasal dari akun WeChat "CSDN", disusun oleh Zheng Liyuan