Google Researchは、AIが「わかりません」と言う頻度を増やすことを望んでいます。同社の研究者らによる論文では、大規模言語モデルは、内部的な自信が低い場合、まるで何かをでっち上げたことがないかのように無根拠に自信満々に答えるのではなく、答えを控えめにすべきだと主張しています。
論文「大規模言語モデルは、その内在的な不確実性を言葉で誠実に表現できるか？」は、自然言語処理研究のトップカンファレンスの一つであるEMNLP 2024で発表されました。その核心的な発見は、現在のLLMは、自分が何について話しているのか実際に知らないことを伝えるのが非常に苦手であるということです。
知っていることと口に出すことの差
著者のGal Yona、Roee Aharoni、Mor Gevaは、「faithful response uncertainty」と呼ぶ形式的なフレームワークを提案している。これは、モデルの発言された自信がその内部的な自信と実際に一致しているかを測定する方法である。この指標は、不一致の両方向をペナルティ化するため、すべてを曖昧に扱うモデルは、まったく曖昧にしないモデルと同じくらい評価が下がる。
彼らの推奨は、表面上は非常に単純です。LLMの内部的な確信度が低い場合、不確実な情報を事実のように述べるのではなく、「私は確信できませんが…」といった自然な言語的控えめな表現を使用すべきです。
研究者は、知識が豊富な質問応答タスクにおいて複数のアラインされたLLMをテストしました。結果は決して前向きではありませんでした。現代のモデルは、出力において自身の不確実性を正確に反映することに大きく苦戦しています。
ハルシネーションがチャットボットを超えて重要な理由
Googleの論文では、不確実性の表現をアラインメント問題として捉えている。現在のアラインメント技術、すなわち初期トレーニング後にモデルを微調整するために用いられるプロセスは、有用性と流暢さを最適化する傾向がある。「わかりません」と答えるモデルは、たとえ「わかりません」が最も正確な回答である場合でも、有用性ベンチマークで低評価となる。
これは歪んだインセンティブを生み出します。モデルはアライメント中に、自信に満ちた詳細な回答が報酬を得られ、曖昧または不完全な回答はペナルティを受けることを学びます。研究者は、このギャップに対して、表現された確信度を実際の知識に合わせるよう設計された新しいアライメント手法が必要であると主張しています。
arXivのプレプリントは2024年5月27日に最初に公開され、EMNLP発表前に広範な研究コミュニティが数ヶ月にわたりその成果と関与する機会が与えられました。
これは暗号資産とAI駆動の取引にどのような意味を持つのか
この論文自体には、仮想通貨、デジタル資産、または金融アプリケーションに関する言及は一切含まれていません。しかし、投資の文脈でAIツールを利用するすべての人に影響を及ぼす可能性があります。
「Bitcoinが$Xで抵抗線をテストする」という取引シグナルは、基盤となるモデルの信頼度が95%か45%かによって、非常に異なる意味を持ちます。現在、ほとんどのAI駆動ツールは、这两种のシナリオを同じように表示しています。
AIツールを用いて暗号資産分析を行っている投資家やトレーダーにとって、実践的な教訓は明確です。自身の不確実性を示さないAI生成の洞察は、最良の場合でも不完全だと捉えるべきです。Googleの論文は、最も洗練されたモデルでさえ、頻繁に自信を過大評価していることを示しています。