Paper penelitian Google menyerukan agar LLM lebih baik dalam menyatakan ketidakpastian

Google Research ingin AI lebih sering mengatakan "Saya tidak yakin." Sebuah makalah dari para peneliti perusahaan berargumen bahwa model bahasa besar seharusnya bersikap hati-hati dalam menjawab ketika tingkat kepercayaan internal rendah, alih-alih memberikan setiap respons dengan sikap percaya diri yang tidak berdasar, seolah-olah mereka benar-benar tidak baru saja membuat sesuatu.

Makalah berjudul “Can Large Language Models Faithfully Express Their Intrinsic Uncertainty in Words?” dipresentasikan di EMNLP 2024, salah satu tempat terkemuka untuk penelitian pemrosesan bahasa alami. Temuan utamanya: LLM saat ini sangat buruk dalam memberi tahu Anda kapan mereka sebenarnya tidak tahu apa yang sedang mereka bicarakan.

Penulis Gal Yona, Roee Aharoni, dan Mor Geva mengusulkan kerangka formal yang mereka sebut "faithful response uncertainty." Dalam bahasa Inggris: cara mengukur apakah kepercayaan yang diucapkan model benar-benar sesuai dengan kepercayaan internalnya. Metrik ini memberikan penalti terhadap kedua arah ketidaksesuaian, sehingga model yang selalu bersikap hati-hati akan mendapat penalti sebesar model yang sama sekali tidak bersikap hati-hati.

Rekomendasi mereka sangat sederhana namun menyesatkan. Ketika kepercayaan internal LLM rendah, seharusnya ia menggunakan penghalang bahasa alami seperti “Saya tidak yakin, tetapi…” alih-alih menyatakan informasi yang tidak pasti seolah-olah fakta.

Para peneliti menguji beberapa LLM yang selaras dalam berbagai tugas pertanyaan-jawaban yang padat pengetahuan. Hasilnya tidak menggembirakan. Model-model modern mengalami kesulitan besar dalam secara akurat mencerminkan ketidakpastian mereka sendiri dalam output mereka.

Makalah Google merangkum ekspresi ketidakpastian sebagai masalah penyelarasan. Teknik penyelarasan saat ini, proses yang digunakan untuk fine-tuning model setelah pelatihan awal, cenderung dioptimalkan untuk membantu dan kelancaran. Model yang menjawab "Saya tidak tahu" mendapat skor rendah pada benchmark kebermanfaatan, meskipun "Saya tidak tahu" adalah jawaban paling akurat yang mungkin.

Ini menciptakan insentif yang menyimpang. Model belajar selama pelurusan bahwa jawaban yang percaya diri dan rinci mendapat penghargaan, sementara jawaban yang ragu-ragu atau tidak lengkap dihukum. Para peneliti berpendapat bahwa kesenjangan ini membutuhkan teknik pelurusan baru yang dirancang khusus untuk menyesuaikan tingkat kepastian yang diungkapkan dengan pengetahuan sebenarnya.

Preprint arXiv pertama kali dirilis pada 27 Mei 2024, memberikan komunitas penelitian luas berbulan-bulan untuk berinteraksi dengan temuan tersebut sebelum presentasi EMNLP.

Kertas tersebut tidak berisi referensi apa pun mengenai mata uang kripto, aset digital, atau aplikasi keuangan. Namun, implikasinya menyebar ke luar dengan cara yang penting bagi siapa pun yang menggunakan alat AI dalam konteks investasi.

Sinyal perdagangan yang menyatakan “Bitcoin akan menguji resistensi di $X” memiliki implikasi yang sangat berbeda tergantung pada apakah model dasarnya memiliki tingkat kepercayaan 95% atau 45%. Saat ini, sebagian besar alat berbasis AI menyajikan kedua skenario ini secara identik.

Bagi investor dan trader yang saat ini mengandalkan alat AI untuk analisis kripto, pelajaran praktisnya sederhana: anggap setiap wawasan yang dihasilkan AI yang tidak menyatakan ketidakpastiannya sendiri sebagai tidak lengkap, paling tidak. Makalah Google menunjukkan bahwa bahkan model paling canggih secara rutin melebih-lebihkan tingkat kepercayaan mereka.