Kertas Timnit Gebru tahun 2020 meramalkan risiko AI utama yang kini telah berlaku

Jika kita memutar semula masa ke tahun 2020, kebanyakan profesional AI masih membincangkan sekuat apa GPT-3.

Pada masa itu, AI generatif belum menjadi fokus global, ChatGPT belum lagi dilancarkan dua tahun kemudian, dan model besar belum memicu gelombang pelaburan yang melanda dunia seperti sekarang. Namun, pada tahun itu, seorang penyelidik AI terkemuka Google berkonflik hebat dengan syarikat kerana sebuah kertas kerja yang belum diterbitkan, dan akhirnya kehilangan pekerjaannya.

Pada masa itu, ramai orang menganggap ini hanyalah satu lagi kontroversi di Silicon Valley mengenai pengurusan tempat kerja, penerbitan akademik, dan budaya perusahaan; tetapi sekarang, apabila melihat semula, orang-orang menyedari bahawa amaran dalam kertas kerja itu hampir semuanya berlaku di dunia nyata.

Dan penyelidik yang dipecat ialah salah satu tokoh paling berpengaruh dalam bidang etika AI—Timnit Gebru.

Pada Disember 2020, Timnit Gebru memuat naik pesan di platform sosial bahawa beliau telah dipecat oleh Google.

Mesej itu segera memicu seluruh komuniti penyelidikan AI. Pada masa itu, Gebru bukan sekadar penyelidik biasa, tetapi merupakan salah seorang ketua bersama Pasukan AI Etika Google, serta salah seorang ahli akademik terkenal di dunia dalam bidang keadilan AI dan bias algoritma.

Gebru, yang dilahirkan di Etiopia, telah lama memperhatikan isu-isu seperti bias rasial, diskriminasi jantina, dan keadilan sosial dalam AI. Sebelum menyertai Google, beliau telah menjalankan penyelidikan di Universiti Stanford. Pada tahun 2018, satu kajian tentang bias algoritma yang beliau terlibat dalam menerbitkan dianggap oleh ramai sebagai titik balik penting dalam penyelidikan keadilan AI. Pada tahun yang sama, Google merekrut beliau dan secara terbuka menonjolkan komitmen syarikat terhadap “AI yang bertanggungjawab (Responsible AI)”.

Namun hanya dua tahun kemudian, kedua belah pihak berpisah.

Pada masa itu, Google mengatakan kepada awam bahawa Gebru mengundurkan diri secara sukarela, tetapi Gebru sendiri memberikan versi yang sama sekali berbeza: beliau menyatakan bahawa semasa cuti, beliau menerima e-mel daripada syarikat yang memberitahunya bahawa pengakhiran kerjanya berkuat kuasa segera, dan semua akses kepada sistem dalaman serta e-mel telah dilumpuhkan secara serentak.

Menurutnya, ini adalah pemecatan yang tidak diragukan lagi.

Selepas itu, lebih daripada 4000 pekerja Google dan ahli industri menandatangani surat terbuka, mempertikaikan cara syarikat menangani perkara ini dan menuntut pemulihan Gebru ke jawatannya—semua ini bermula daripada sebuah kertas akademik yang hanya 14 muka surat.

Kertas kerja ini berjudul《On the Dangers of Stochastic Parrots》（“Bahaya Parrot Stokastik”），penulisnya termasuk Timnit Gebru, profesor linguistik di Universiti Washington, Emily Bender, dan dua penyelidik lain, yang telah dirujuk lebih daripada 14,000 kali.

Kemudian, nama "burung beo rawak" juga menjadi luas dikenali. (Alamat kertas kerja: https://s10251.pcdn.co/pdf/2021-bender-parrots.pdf)

Kertas kerja tersebut menunjukkan bahawa model bahasa besar pada dasarnya mengulangi corak bahasa berdasarkan pola statistik: mereka mampu menghasilkan teks yang lancar, semula jadi, dan bahkan logik, tetapi tidak benar-benar memahami makna bahasa—seperti seekor burung beo yang belajar meniru ucapan manusia, kelihatan bijak, tetapi sebenarnya peniruan ini hanya dibina atas tapak teks internet yang melimpah. Sementara itu, internet itu sendiri penuh dengan bias, diskriminasi, dan kandungan kebencian. Oleh itu, model besar sangat mungkin mempelajari masalah-masalah ini bersama-sama dan memperbesarnya semasa menghasilkan kandungan.

Perlu diketahui, itu adalah tahun 2020, ketika GPT-3 baru sahaja dilancarkan, ChatGPT belum wujud, dan gelombang model besar masih jauh dari kemuncak, kertas ini sudah meramalkan salah satu masalah paling menyusahkan industri hari ini.

Selepas makalah ini dihantar ke persidangan etika AI terkemuka, pengurusan Google meminta agar makalah tersebut ditarik balik atau nama penyelidik Google dikeluarkan. Namun, Gebru menolak permintaan tersebut, dan meminta syarikat tersebut memberikan sebab yang spesifik serta menginginkan perbincangan lanjut antara kedua-dua belah pihak.

Sementara itu, dia juga menghantar e-mel yang tajam kepada kumpulan dalam kalangan kakitangan Google.

Dalam e-mel tersebut, Gebru mengkritik Google kerana kurangnya tindakan nyata dalam mendorong perekrutan kaum minoriti dan menangani isu ketidakseimbangan dalaman. Beliau menulis: “Apabila anda mulai berbicara untuk kelompok yang kurang beruntung, keadaan anda akan menjadi semakin buruk. Anda akan membuat para pemimpin lain merasa tidak selesa.” Beliau juga menyatakan: Jika syarikat terus gagal menjelaskan mengapa kertas kerja itu ditarik semula, beliau akan memilih untuk berhenti pada masa yang sesuai.

Perkembangan perkara itu melampaui jangkaannya. Gebru menyatakan bahawa Google kemudian membalas bahawa mereka tidak akan memenuhi tuntutannya, dan secara langsung menerima “perletakan jawatan”nya, serta segera mencabut semua aksesnya.

Pada masa itu, peristiwa itu dengan cepat menjadi salah satu topik paling kontroversial dalam bidang AI global.

Bukan pemecatan itu sendiri yang membuat insiden ini terus dibincangkan hingga kini, tetapi kandungan dalam kertas kerja tersebut—kerana jika kita lihat semula hari ini, hampir semua kebimbangan yang dinyatakan di dalamnya telah menjadi masalah nyata yang dihadapi oleh industri AI.

(1) Awas pertama: Model akan "bercakap tanpa asas"

Pada tahun 2020, GPT-3 baru sahaja dilancarkan. Pada masa itu, orang terkesan dengan kemampuan model dalam menghasilkan teks, tetapi sedikit orang yang membincangkan kebolehpercayaannya secara serius.

Gebru dan Bender menunjukkan: seiring dengan pembesaran ukuran model, orang akan semakin mudah menganggap ekspresi yang lancar sebagai pemahaman sejati. Model kelihatan seolah-olah sedang berfikir, tetapi sebenarnya hanya memprediksi perkataan seterusnya yang paling mungkin muncul; oleh itu, mereka pasti akan menghasilkan maklumat yang kelihatan munasabah tetapi sepenuhnya salah.

Dan hari ini, masalah ini telah mendapat nama yang dikenali semua orang: Hallucination AI. Samada ChatGPT, Gemini, Claude, atau model canggih lain, masalah ilusi masih belum diselesaikan sepenuhnya.

Dalam beberapa segi, kertas ini telah meramalnya dengan tepat sebelum “halusinasi” menjadi perkataan panas dalam industri.

(2) Awas kedua: Prasangka tidak akan hilang, tetapi akan diperbesar

Kertas kerja tersebut juga menunjukkan bahawa internet itu sendiri bukanlah sumber data yang neutral, dan data latihan secara semula jadi mengandungi pelbagai prasangka berdasarkan keturunan, jantina, budaya, dan wilayah. Model tidak hanya akan mempelajari prasangka-prasangka ini, tetapi juga mungkin memperkuatnya melalui mekanisme pengoptimuman.

Kemudian, pelbagai isu praktikal mengesahkan kebimbangan ini:

Amazon pernah mencuba menggunakan AI untuk menyaring resume pelamar, tetapi sistem secara automatik mengurangkan markah resume yang mengandungi kata kunci seperti "women".

Sistem penilaian risiko perubatan yang digunakan oleh banyak hospital besar di Amerika Syarikat didapati secara berterusan meremehkan keperluan perubatan pesakit kulit hitam.

Kad Apple Apple juga menarik perhatian pengawas kerana jumlah had kredit yang diberikan kepada wanita jauh lebih rendah berbanding lelaki.

Kesemua kes ini menunjukkan bahawa algoritma tidak secara automatik mencapai keadilan, sebaliknya mungkin mengukuhkan ketidaksamaan dunia nyata dengan cara yang lebih halus.

(3) Peringatan ketiga: Penggunaan tenaga AI akan menjadi masalah baru

Pada tahun 2020, kos pengiraan jauh tidak sehebat hari ini, tetapi kertas kerja itu sudah memulakan perbincangan mengenai kesan persekitaran yang ditimbulkan oleh pelatihan model super besar. Menurut pengiraan penyelidik, emisi karbon yang dihasilkan daripada pelatihan satu model bahasa besar sama dengan jumlah emisi sepanjang hayat lima buah kereta—pada masa itu, pernyataan ini dianggap terlalu pesimis oleh ramai orang.

Namun, seiring infrastruktur asas AI memasuki fasa perlumbaan senjata, masalah segera muncul: menurut data yang diumumkan oleh Google, emisi gas rumah kaca syarikat pada tahun 2024 meningkat 48% berbanding tahun 2019; Microsoft juga mengalami peningkatan sekitar 29% pada tempoh yang sama. Kedua-dua syarikat ini secara jelas menyatakan bahawa pusat data AI dan infrastruktur pengiraan merupakan salah satu sebab utama.

Ironinya, raksasa teknologi ini beberapa tahun lalu masih secara giat mempromosikan sasaran karbon netral.

(4) Peringatan keempat: Tidak ada yang benar-benar tahu apa yang ada dalam data latihan

Dalam pandangan banyak orang, data latihan kelihatan seperti masalah kejuruteraan semata. Namun, Gebru percaya bahawa seiring dengan semakin besarnya skala data, audit menyeluruh terhadap data latihan akan menjadi hampir mustahil.

Pandangannya sekali lagi terbukti benar: Pada tahun 2023, para penyelidik menemukan sejumlah besar gambar kekejaman terhadap kanak-kanak dalam set data LAION-5B yang secara meluas digunakan untuk melatih model penghasil imej, termasuk beberapa model utama seperti Stable Diffusion.

Seperti yang dijangka, banyak pembangun sebelum ini tidak mengetahui keberadaan perkara ini. Dengan kata lain, walaupun pembangun model itu sendiri, mungkin tidak benar-benar memahami apa yang “dimakan” oleh model—dan inilah salah satu soalan pertama yang diajukan dalam kertas ini.

(5) Awas kelima: Internet akan perlahan-lahan dikuasai oleh kandungan AI

Menurut Google, ini mungkin merupakan bahagian paling sensitif seluruh kertas kerja ini. Gebru dan Bender berpendapat bahawa perkembangan model besar akhirnya akan memusatkan kuasa ucapan bahasa dan budaya ke tangan sedikit sahaja raksasa teknologi. Sebabnya mudah: melatih model super besar memerlukan dana, kuasa pengiraan, dan sumber data yang sangat besar, dan hanya sedikit syarikat yang benar-benar mampu bersaing.

Dalam jangka panjang, suara utama di internet akan berubah menjadi nilai purata statistik yang dilatih oleh beberapa syarikat sahaja, kemudian disebarkan ke seluruh dunia sebagai “penolong neutral”. Sementara itu, bahasa dan budaya yang memiliki peratusan rendah dalam data latihan akan semakin ditepikan.

Lebih serius lagi, apabila kandungan yang dihasilkan oleh AI masuk semula ke internet dan menjadi data latihan untuk gelombang seterusnya, masalah ini akan terus diperkuat secara berulang—ini adalah apa yang kini disebut oleh penyelidik sebagai “model collapse”.

Sebuah kajian pada tahun 2024 mendapati bahawa sekitar 57% kandungan baharu di internet berbahasa Inggeris telah dihasilkan atau dibantu oleh AI; manakala kajian terhadap bahasa sumber rendah mendapati bahawa, disebabkan data latihan semakin banyak berasal daripada kandungan yang dihasilkan oleh AI, kualiti terjemahan sebahagian bahasa telah mengalami penurunan yang jelas.

Dengan kata lain, kertas kerja ini tidak hanya meramalkan fenomena "kegagalan model", tetapi juga mengenal pasti mekanisme pembentukannya sebelum konsep ini secara rasmi muncul.

Selepas kejadian itu berlaku, banyak orang kemudian menggambarkan Gebru sebagai “lawan AI”. Sebenarnya tidak demikian; dia tidak pernah menyeru untuk menghentikan perkembangan AI. Sejak awal hingga akhir, yang dipertanyakannya ialah perkara lain:

Siapakah yang menentukan arah pembangunan AI?

Menurutnya, penyelidik dan pengurusan yang mendorong perkembangan model besar seringkali memiliki latar belakang yang serupa, melayani matlamat perniagaan yang serupa, dan didorong oleh tekanan persaingan yang sama. Dalam mekanisme insentif seperti ini, mempercepat pelancaran produk, mempercepat pertumbuhan pengguna, dan mempercepat memenangi persaingan pasaran seringkali mendapat keutamaan lebih tinggi berbanding isu keselamatan, keadilan, dan etika.

Sementara itu, semua orang yang cuba memperlambat proses ini mungkin dianggap sebagai penghalang. Ironinya, Gebru sendiri mengemukakan pandangan ini di dalam Google, dan Google justru memberikan catatan realiti paling dramatik terhadap pandangan ini dengan memecatnya.

Lebih menyedihkan lagi, tidak lama selepas peristiwa itu, ketua bersama lain pasukan AI etika, Margaret Mitchell, juga dipecat—dalam masa hanya 90 hari, pasukan AI etika yang dahulu menjadi kebanggaan Google hampir sepenuhnya dihancurkan.

Selepas meninggalkan Google, pada tahun 2021 Gebru menubuhkan Institut Penyelidikan AI Teragih (DAIR). Berbeza dengan syarikat teknologi besar, institusi ini ingin menjalankan penyelidikan AI di luar kepentingan komersial, dengan matlamat yang jelas: menyelidiki isu-isu yang mungkin tidak ingin dihadapi oleh raksasa teknologi. Dalam beberapa tahun terakhir, DAIR terus memfokuskan perhatian pada sumber data, keadilan algoritma, keragaman bahasa, dan pemusatan kuasa dalam industri AI.

Sementara itu, dengan perkembangan pesat AI generatif, semakin ramai penyelidik juga mulai memperhatikan semula kertas kerja “Bahaya Burung Kakak Tua Rawak”: kerana mereka mendapati isu-isu yang dahulu dianggap terlalu berhati-hati dalam kertas kerja itu kini telah menjadi realiti yang dibincangkan setiap hari dalam industri.

Enam tahun telah berlalu, dan mengenai perbezaan pendapat antara Timnit Gebru dan Google, pihak luar mungkin tidak akan pernah mendapat jawapan yang disepakati oleh semua orang.

Google menganggap itu adalah proses tinjauan akademik dan pengunduran diri yang biasa; Gebru pula percaya bahawa dirinya mengalami penindasan kerana berpegang teguh pada penerbitan kajian beliau. Tetapi satu perkara semakin sukar untuk dinafikan:

Kertas kerja yang menyebabkan dia meninggalkan Google tidak kehilangan maknanya apabila kontroversi berakhir.

Sebaliknya, isu-isu seperti ilusi, prasangka, pencemaran data, kos persekitaran, kegagalan model, dan pemusatan kuasa yang dibincangkan kini menjadi topik yang tidak boleh dielakkan dalam industri AI keseluruhan.

Kadang-kadang, sejarah akan memberikan penilaian dengan cara yang tidak disangka-sangka.

Pada tahun 2020, ramai orang merasa Timnit Gebru terlalu pesimis;

Pada tahun 2026, orang-orang mulai menyedari bahawa mungkin dia hanya lebih awal melihat masalah berbanding yang lain.

Pautan rujukan: https://www.tumblr.com/dreaminginthedeepsouth/817865966907228160/darren-oconnor-timnit-gebru-was-fired-from

Artikel ini berasal dari akaun WeChat "CSDN", disusun oleh Zheng Liyuan