AIの幻覚が人間の判断力と信頼を損なう

最新の研究によると、AIの幻覚はあなたを欺くだけでなく、あなたの自信を高め、判断力を弱める可能性があります。

これはまずいです。

最近、パリ高等師範学校、ローマ第一大学、ミラノ・ビコッカ大学による研究が発見したところによると：

AIがなければ、人々は「わかりません」とより素直に認め、判断を先送りにするだろう；

しかしAIが登場すると、たとえ人々がそれが誤りを犯すことを明知していても、誤った答えには罰が伴うことを理解していても、大半の人はその答えをそのまま受け入れ、自分の判断として自信を持って口にする。

実験結果はこの傾向を明確に示しています：AIを使用しない最初の実験では、「わかりません」と答えた人の割合は44％で、正解率は27％でした；

AIを活用した後、わからないと答えた割合は44%から3%に急減し、正解率は27%から9%に低下した一方で、自信は30%から76%に急上昇した。

その後の実験では、「正解なら報酬、不正解なら罰金」という報酬と罰則のメカニズムを導入して、参加者が独立した判断を維持し、この傾向を修正するよう促したが、人々は依然としてAIの誤った提案に依存してしまう傾向を克服できなかった。

つまり、知らない人は本当に消えたわけではなく、AIの支援によって自信を持ち、誤った答えを出す人々が代わりに現れたということです。

現在、関連する研究結果はarXivに掲載されており、チームは合計5つの実験を実施し、参加者は合計3,132人です。そのうち4つの実験は事前登録されており、1つは直接の再現実験です。

この研究は「AIが人間の判断能力に与える影響」に焦点を当てています。

研究者のヴァレリオ・カプラロはインタビューで述べた：

人間にとって「私はわかりません」と言うことは重要です。なぜなら、それは自分が知識の境界を認識できていることを意味するからです。

しかし今や、AIによってほぼあらゆる質問に即座に流暢な回答が得られます。

それでは問題が生じます。これは人間の本来の判断力を妨げないでしょうか？つまり、不確実なときはすぐに結論を出さないことです。

そのために、研究チームは大規模言語モデルが誤答しやすい一連の質問を特別に設計しました。

これは数学的推論の問題でも、常識の問題でもなく、映画内のビジュアルの細部に関する問題です。

たとえば『我爱贝克汉姆』のチームのユニフォームの色は？『ブダペスト大飯店』のアガタの象徴的なヘアスタイルは？あるいは『高速路上一只猫』でモニカが運転している車は？

覚えていますか？私は正直、長い間思い出せませんでした。これってあまりに難しすぎます！誰が覚えられるんですか……（肩をすくめる）

AIにとっても、これらの質問の答えは通常のテキスト資料にはなく、モデルの学習データにもこうした視覚的詳細が含まれていない可能性が高いため、非常に頭を悩ませる。

研究者は実験で使用したモデルStep 3.5 Flashを事前にテストし、予想通り、通常は誤答することを確認しました。

また、彼らはGPT-5.5、Claude Sonnet 4.6、Gemini 3.5 Flashなどのより先進的なモデルもテストしました。

これらの最先端モデルは、『ブダペスト大飯店』のアガサの特徴的なヘアスタイルのような一部の質問でより優れた性能を発揮しており、GPT-5.5、Gemini 3.5 Flash、Claude Sonnet 4.6はいずれも正しい方向性を示しています：crown braid、milkmaid braid—つまり頭頂部を囲むように編んだ髪型です。

△

△

△

例えば『我爱贝克汉姆』におけるチームのユニフォーム色も、白や赤などの重要な情報を大抵捉えています。

しかし、具体的な画像記憶に依存し、オンラインのテキスト資料が少ない質問になると、モデルは一斉に失敗し、それぞれ異なる形で大失敗する。

最も典型的なのは『高速道路上の猫』でモニカが運転している車です。正解は2008年式の青いToyota Aygoです。

しかしGPT-5.5はそれを小型オートバイと表現し、「彼女はそれを駆ってローマの郊外を移動し、ピザ店を開いた後もそれを配達に使用した」という物語を追加し、「質素で労働者階級の生活様式とGiovanniの裕福な都市生活との対比」などの設定を加えた。

論理的に見え、理にかなっているように思えるが、これは実際にはモデルがあなたに合理化させようとして、真面目な顔をして無から作り出した偽情報だ！（騙されたでしょhhh）

Gemini 3.5 Flashは、彼女が主にバスを利用し、自身の車を持っていないと述べており、さまざまな細部がより著しく誤っており、気づきにくい（例えば、MonicaがSergioの車に乗るという規則的な設定は存在せず、モデルは散在する車の乗り合いエピソードを、存在しない常態にまとめ上げている）：

△

Claude Sonnet 4.6はインターネットの自動車データベースに基づき、2016 Toyota Auris Touring Sports Hybridを特定しました：

△

ステップ3.5 フラッシュは偽装をやめ、そのまま2007年式フィアット500と答えた（一目で偽りだとわかるだろうが！）。

これらの答えの問題は、単に間違っているだけでなく、本当のように見せかけて、見分けがつかないほどです！

それらは単に知らないだけでなく、「架空のキャラ設定」「捏造された物語の論理」「車両の用途の追加」を通じて誤った答えを完璧に説明し、とても理にかなって聞こえるが、核心的な事実は間違っている。

これがAIの幻覚が最も危険な点である——核心的な事実が最も重要なポイントなのに、它は流暢な表現で自身の無知と誤りを隠し、あなたにそれがすべてを理解しているかのように錯覚させる。

実験は、ClaudeやGPTなどのトップモデルではなく、より軽量なStep 3.5 Flashを中心に実施されました。

映画の細部に関する6つの質問を設計することは、研究設計において非常に重要です。なぜなら、このような質問はAIがよく間違え、信頼性に欠けることが多いためです。

研究者たちは、人々がAIを信頼するのは、AIが本当に信頼できるからであるという説明を排除するために、このような行動を取ったと述べている。

人々が、これらの答えがAIによく間違えることを明知しながらも、AIの回答に従うのであれば、問題は「合理的な判断の外部委託」ではなく、「判断力が本当にAIに押しつぶされている」ことである。

研究は合計5ラウンドに分かれています。

前の2ラウンドの実験では、AIの提案が「わかりません」の割合に影響を与えるかどうかを主に観察しました。

Study 1aでは、314人の参加者が2つのグループに分けられ、6問の映画の細部に関する質問に回答しました。（一方のグループはAIを使用せず、もう一方のグループはAIに助けを求めるかどうかを選択できました。）

結果は明確です：AIがない場合、参加者が判断を保留する割合は36%でしたが、AIを利用できる場合、この割合は6%に低下しました。

つまり、AIに質問できる限り、人々は「知らない」と言うのを明らかに避けている。

しかし、研究者は、Study 1aでAIツールの約10％のリクエストが正常に応答しなかったという技術的な干渉の可能性を懸念している。

そこで彼らはStudy 1bを再度実施しました。

今回は研究者がAIをリアルタイムで呼び出すのではなく、あらかじめAIの回答を生成し、すべての求助者に完全な回答を表示できるようにしました。

結果が再現されました。AIなしでは44％の人が「わかりません」と答えましたが、AIありでは3％に減少しました。

カプリーロはこの現象を「検証の停止が崩壊した」と呼んだ。（AIの真面目なふりにだまされて、その大前提や各種設定が正しいかどうかを確認するのを忘れてしまった。）

次に、研究者は続けました：「間違いに代償がある場合、人々はもっと慎重になるでしょうか？」

そこでStudy 2は金銭的報酬と罰則のルールを導入しました。

このラウンドには812名の参加者がおり、4つのグループに分けられました：AIの提案の有無、金銭的報酬と罰の有無。

正解すると0.1ドル（約0.73元人民元）の報酬が与えられ、不正解だと0.1ドルが差し引かれます。「わかりません」と答えた場合は、報酬もペナルティもありません。

本来、お金はそれほど多くないとはいえ、間違えるにはコストがかかるので、人々はより慎重になるべきです。

しかし結果は、お金が少しは役立ったが、AIの影響を相殺するにはまだはるかに不十分であることを示した：

金銭的報酬や罰則がない場合、AIの使用により「わかりません」という回答の割合は17%から1%に低下します。

金銭的報酬・罰則ルールがある場合でも、AIの使用率は21%から2%に低下する。

言い換えると、実験結果は、正解しないとお金が引かれることを知っていながら、AIが这类の質問にあまり信頼できないことを理解していても、大多数の人が自分の判断よりもAIの答えを信じるということを示している。

より重要なのは正確性です。

AIがない場合、正解率は約28%だったが、AIがある場合、正解率は10%に低下した。

これは、一部の人がAIの幻覚を理解しているにもかかわらず、AIが提示した回答を採用していることを示している。

マネーインセンティブルールの導入により、正解率が向上しました：

AIがない場合、28%から33%；AIがある場合、10%から17%。

AIグループの正解率は依然として無AIグループより明らかに低いが、このルールは全く効果がないわけではなく、少なくともAIに質問する回数を少し減らす効果があった：

報酬がある条件下では、参加者がAIにアドバイスを求める平均回数が5.44回から4.93回に減少しました。

つまり、お金は人々がAIを少し信じたり使ったりするのを減らすことはできるが、AIの誤った提案からの影響を完全に摆脱することはできず、人々を慎重な判断の状態に戻すのは難しい。

AIが誤った回答をした状況で人々が膨らむ自信が最も深く考えさせられる：

AIなし、報酬や罰金のルールなしの場合、参加者の平均自信度は29.6%です。

AI導入後、参加者の信頼度は直接75.9％まで上昇した。また、金銭的報酬と罰則ルールが適用された場合でも、AIグループの信頼度は73.5％であった。

論文での要約は非常に直接的である：AIはより確信を持たせるが、必ずしもより正確ではない。

AIはかつてない速さで日常に溶け込んでおり、顕著な変化の一つは、多くのAIの提案が私たちが自ら質問した結果ではなく、AIが自ら近づいてくるようになったことです。

最も典型的なシナリオは、トレンドを検索することです。

以前は、あるトピックをクリックして、コメント欄やメディア報道、関係者の反応を一つずつたどりながら、時間をかけて状況を組み立て、その途中でちょっとした余談にも立ち寄っていた。

今は違います。あなたがちょうど入ったとき、AIが生成した要約が最も目立つ位置に表示されています。

何が起こったか、誰が何を言ったか、議論のポイントはどこか、その後の進展はどのように進んだか、すべて整理しておきました。さらにニュースソースのリンクも付けています。

確かに便利ですが、少し微妙ですね…….

情報をより明確に整理すればするほど、私たち自身で経緯を探求する時間が短縮され、以前のようにあちこち探して判断し、ふとした瞬間に意外な細部を発見する楽しみも、一緒に圧縮されてしまったようだ。

文字を入力していると、まだ2行も打たないうちに、AIの補完文やヒントがカーソルの後ろに現れる。

そこでStudy 4は、より現実に近いデザインを採用しました：参加者がAIに質問するかどうかを選択させるのではなく、AIの提案を問題の横に自動的に表示しました。

このラウンドには853名の参加者がおり、実験結果は前回とほぼ同じです。

金銭的報酬や罰則がない場合、AIの自動登場により「わかりません」の割合は35%から1%に低下し、規則がある場合、39%から7%に低下します。

正確率も引き続き影響を受けます：AIなしでは正確率は約27％でしたが、AIありでインセンティブなしでは正確率は7％にまで低下しました。

AIを導入し、インセンティブを追加したところ、正確率は14%まで向上しました。

これは、人がAIに積極的に助けを求めていなくても、AIの提案を受動的に見ただけで、強く影響を受けることを示している。

これは注意が必要なシグナルです——AIが私たちの判断習慣を静かに再構築しています。

それは、あなたがチャットボックスを手動で開くのを待ってから返答するツールではなく、システムがデフォルトであなたに提供する「標準的な答え」变成了。

• それは検索ページの上部に表示される可能性があります。
• メールの下書きに表示されます。
• ドキュメントのサイドバーに表示されます。
• 学習ソフト、オフィスシステム、ブラウザ拡張機能に表示されます。

答えが最初から眼前に提示されると、人間の判断プロセスはすでに書き換えられている；しかし最も恐ろしいのは、私たちがそれを当然のように受け入れていることだ。

論文で「epistemia」（認知的惰性）という用語が使用されている。

人々は、AIの回答が滑らかで、完全で、論理的であるため、その表面的な信頼性を受け入れ、さらに検証しない傾向がある。

大規模言語モデルには、常に何らかの内容を生成しなければならないという根本的な特徴があります。自分自身が知らない質問に対しても、ほとんど真剣に停止することはありません。

それは本当のように聞こえるかもしれません。しかし、もし私たちがそのようなシステムに判断を委ねると、その「停止しない」という習慣を引き継いでしまう可能性があります。

論文が提示する一つの説明は、「AIが提供する流暢な回答は、人間が『十分に知っているので答えられる』と判断する基準を下げる」というものである。

元々、あなたはこう思ったかもしれない：“この問題は分からない、自信がない、やめよう……。理解してからでないと答えられない。”

しかし、AIが非常に確実に見える発言をすると、心理的なハードルが「既然它都这么说了，那我也可以答。」と変わる。

したがって、「わかりません」と「探求のプロセス」は省略され、代わりに「標準的だが誤った答え」が挿入され、その誤った答えは、反復的な探求と検証を通じてのみ得られるべき高い自信をあなたに与えている。

答えが間違えれば罰金が科されるにもかかわらず、人々はわずかに警戒するだけで、AIを過信する習慣を完全に改めることはできず、結局見事に誘導されてしまった。

この研究が真に私たちに示しているのは、「AIは幻覚を起こす」という既に陳腐な事実ではなく、AIが人間が不確実性に対処する方法を変えるという、注意すべき新たな変化である。

過去、人が未知の問題に直面したとき、三つの選択肢があったかもしれない：

分かれば答えよ。

2、知らないなら調べてください。

3、自信がない場合は答えず、判断しない。

しかし、AIが導入されたことで、プロセスが短縮されました。

1、AIが答えを提供。

2、ユーザーが回答を採用します。

最も重要なステップである「私は本当に知っているのか」が、気づかないうちにスキップされてしまった。

これが、論文の著者が、彼らの研究が「AIが誰かに何を答えさせたか」ではなく、「AIが誰かが『私は答えられる』と決断するのをより容易にしたか」に焦点を当てていると強調する理由である。

これは単に一度間違えるよりも深刻です。なぜなら、これは私たちのメタ認知能力、つまり自分の知識の境界を監視する「内的アラーム」を侵食するからです。この能力は非常に貴重です。

このアラームが故障すると、私たちは「真の知識」と「妥当に見える推測」を区別する本能を失ってしまう。

そのとき、私たちはAIを通じて効率的に答えを得られるかもしれないが、その答えが本当に自分自身のものであり、本当に信頼に値するかどうかを判断できなくなるだろう。

同時に、AIに導かれてしまうのは、ある特定の判断ではなく、私たちが独立した思考者であるという基盤そのものになる。

この損失は計り知れません。

インタビューで論文の著者之一であるヴァレリオ・カプラロは、「大人はすでに批判的思考を学んでいますが、これらのシステムと共に生まれた子どもたちにとっては、基本的な批判的スキルすら学ばないリスクがあるため、非常に心配です。」

この言葉の背後には、現代の大人たちは、少なくともAIのない世界で生活した経験があるという、より深い懸念が隠されている。

したがって、検索エンジン、本、授業、議論、そして試行錯誤を通じて基礎的な判断力を身につけた後でAIを使用することで、「私は確信できない」という感覚を育む機会を得られる。

しかし、今日の子供たちは、生まれたときからこれらのAIと共に育つ可能性があります。

彼らは宿題をしたり、資料を調べたり、記事を書いたり、概念を理解したりする際に、手軽にAIに質問する可能性があります。

最初から答えを直接受け入れ、自ら判断を形成してから答えを検証する習慣を身につけないと、単に1問間違えるだけでなく、最も基本的な批判的思考能力を育てる機会を失う可能性があります。

カプラロによると、この問題を解決するにはモデル企業がバグを修正するだけでは不十分であり、AIリテラシーと教育政策に着手することが必要である。

モデル企業は、不確実性をよりよく表現し、幻覚を減らし、証拠が不十分なときにユーザーに注意を促すなど、改善すべきです。

しかし、カプリアロは同時に、希望をモデル企業にすべて賭けるべきではないと考えている。

より有望で、より長期的な解決策は教育です。

特に子供の教育。

今日の子供たちにとって、「わかりませんが、理解しようとする」プロセスを繰り返し練習し、その習慣を身につけることは非常に重要かつ必要です。

実験の最後で、研究者は限界を認めました：実験では映画の細部に関する質問のみを使用しており、他の分野にも適用できるかはまだ検証されていません。また、インセンティブ金額が小さく、より大きな利害関係が行動をさらに修正できるかどうかは不明です。

しかし、現在のデータは明確なシグナルを示しています：人々は「知らない」と言うことが減り、答えを出すことが増え、正解率は下がっている一方で、自信は高まっているということです。

これはAI時代における最も隠蔽されたリスクの一つかもしれません。

AIはあなたを欺くだけでなく、あなたが実は何も知らないことに気づきにくくしています。

この研究の最終的な判断は控えめである一方で、重いものである：「AIが生成した回答が至るところに存在し、しばしば自発的に現れる中で、私たちの研究は、人間とAIの相互作用において、人間が『わかりません』と率直に認める能力が、人機インタラクションにおける最初の犠牲の一つとなる可能性があることを示している。」

AIシステムがますます普及する中で、人間の判断力が立ち位置を守れるかどうかは、AIをより正確にすることではなく、私たちが自らの知識の限界を明確に理解し、それに基づいて慎重に行動できるかどうかにかかっている。

これはAIが使えないということではなく、逆にAIは確かに強力な補助ツールになり得るということです；

しかし、それは人間の思考を代行するのではなく、思考を助けるものでなければならない。私たちは、慎重な判断の基準を守り続ける必要がある。

より健全なAIの使い方は、まず自ら判断し、自発的に学習し、どうしても理解できない場合にのみAIに求助し、その際もAIを疑い、自分自身に問い続ける姿勢を保つことである。

例えば：

それは間違っている可能性がありますか？

証拠はどこにありますか？

参照リンクは404で空白ですか？

私はそれがスムーズに聞こえたからといって、それが正しいと信じてしまったのか？

AI製品とその開発者にとっても、これは同じく警鐘である。「技術の成熟は、未知への畏敬の念にこそ現れる。」

未来のAIの進化の方向性は、AIがより速く、より人間のように答えることだけでなく、不確実性をより正直に示すことを学ぶことにあるかもしれない。

証拠が不十分で、問題が視覚的詳細、リアルタイム情報、または専門的判断に依存する場合、AIは無理に全能であるかのように振る舞うのではなく、ユーザーにこの回答が信頼できないことを自ら伝えるべきです。

時代の波に押し流されながら前へ走り続ける、あなたや私のような一般の人々にとって、最も貴重な能力は、ただ「私はわかりません」と言い直すことを再び学ぶことかもしれません。

このAIが常に答えを出せる時代において、「わかりません」と言うことは無知の告白ではなく、判断力がまだ残っている証拠である。

参照リンク：

[1]https://www.theregister.com/ai-and-ml/2026/07/19/using-ai-makes-people-less-likely-to-admit-they-dont-know-something/5274567

[2]https://arxiv.org/pdf/2607.13562

本文は微信公衆号「量子位」より、著者：文婷