Kertas penyelidikan Google meminta LLM untuk lebih baik dalam mengungkapkan ketidakpastian

Google Research ingin AI lebih kerap mengatakan “Saya tidak pasti”. Sebuah kertas daripada penyelidik syarikat berhujah bahawa model bahasa besar seharusnya mengelakkan jawapan apabila keyakinan dalaman rendah, bukan menghulurkan setiap respons dengan sikap percaya diri yang tidak berasas seperti seseorang yang pasti tidak baru sahaja membuat sesuatu.

Kertas kerja berjudul “Bolehkah Model Bahasa Besar Mengekspresikan Ketidakpastian Intrinsiknya Dengan Kata-Kata Secara Setia?” telah dipaparkan di EMNLP 2024, salah satu tempat utama untuk penyelidikan pemprosesan bahasa semula jadi. Penemuan utamanya: model bahasa semasa sangat buruk dalam memberitahu anda apabila mereka sebenarnya tidak tahu apa yang mereka bincangkan.

Penulis Gal Yona, Roee Aharoni, dan Mor Geva mencadangkan kerangka formal yang mereka panggil “ketidakpastian respons yang setia.” Dalam bahasa Inggeris: cara untuk mengukur sama ada keyakinan yang diucapkan model sebenarnya sepadan dengan keyakinan dalamanannya. Metrik ini menghukum kedua-dua arah ketidaksepadanan, jadi model yang meragukan segala sesuatu akan dikenakan hukuman sebanyak model yang tidak pernah meragukan apa-apa.

Cadangan mereka sangat ringkas tetapi menyesatkan. Apabila keyakinan dalaman LLM rendah, ia seharusnya menggunakan perkataan penghalang bahasa semula jadi seperti “Saya tidak pasti, tetapi…” alih-alih menyatakan maklumat yang tidak pasti sebagai fakta.

Penyelidik menguji beberapa LLM yang selari dalam tugas-tugas soal-jawab yang intensif pengetahuan. Keputusannya tidak memberi harapan. Model moden mengalami kesukaran besar dalam mencerminkan ketidakpastian mereka sendiri dengan tepat dalam output mereka.

Kertas Google merangkum ungkapan ketidakpastian sebagai masalah penyelarasan. Teknik penyelarasan semasa, proses yang digunakan untuk penyesuaian halus model selepas latihan awal, cenderung mengoptimumkan kebergunaan dan kelancaran. Model yang mengatakan "Saya tidak tahu" akan mendapat skor rendah pada tolok kebergunaan, walaupun "Saya tidak tahu" adalah jawapan paling tepat yang mungkin.

Ini menciptakan insentif yang menyimpang. Model belajar semasa penyesuaian bahawa jawapan yang yakin dan terperinci diberi ganjaran, manakala jawapan yang berhati-hati atau tidak lengkap dikenakan hukuman. Para penyelidik berhujah bahawa jurang ini memerlukan teknik penyesuaian baharu yang direka khas untuk menyesuaikan tahap keyakinan yang diungkapkan dengan pengetahuan sebenar.

Preprint arXiv pertama kali dikeluarkan pada 27 Mei 2024, memberikan komuniti penyelidikan yang lebih luas berbulan-bulan untuk terlibat dengan dapatan sebelum penyajian EMNLP.

Kertas itu sendiri tidak mengandungi sebarang rujukan kepada mata wang kripto, aset digital, atau aplikasi kewangan. Tetapi implikasinya merambat keluar dengan cara yang penting untuk sesiapa sahaja yang menggunakan alat AI dalam konteks pelaburan.

Isyarat perdagangan yang menyatakan “Bitcoin akan menguji rintangan pada $X” membawa implikasi yang sangat berbeza bergantung kepada sama ada model asas mempunyai keyakinan 95% atau 45%. Saat ini, kebanyakan alat yang digerakkan AI menunjukkan kedua-dua senario secara serupa.

Untuk pelabur dan pedagang yang kini bergantung pada alat AI untuk analisis kripto, kesimpulan praktikalnya adalah jelas: perlakukan sebarang wawasan yang dihasilkan AI yang tidak menyatakan ketidakpastiannya sendiri sebagai tidak lengkap, sekurang-kurangnya. Kertas Google menunjukkan bahawa walaupun model yang paling canggih sering kali melebih-lebihkan keyakinan mereka.