Иллюзии ИИ подрывают человеческое суждение и уверенность

Новые исследования показывают, что иллюзии ИИ могут не только обманывать вас, но и усиливать вашу самоуверенность, ослабляя вашу способность к оценке.

Это нехорошо.

Недавно исследование, проведенное Парижской высшей нормальной школой, Римским университетом Сапиенца и Миланским университетом Бикокка, выявило:

Без ИИ люди с большей охотой признают: «Я не знаю», и откладывают суждение;

Но как только появился ИИ, большинство людей, даже зная, что он ошибается, и даже зная, что за неправильный ответ будет наказание, всё равно выбирают принимать его ответы без критики, считая их своими собственными суждениями и уверенно их озвучивая.

Результаты эксперимента также ясно демонстрируют эту тенденцию: в первом эксперименте без использования ИИ доля участников, честно сказавших «Я не знаю», составила 44%, а точность — 27%;

После использования ИИ-помощника доля людей, которые не знали ответа, резко снизилась с 44% до 3%, точность снизилась с 27% до 9%, а уверенность выросла с 30% до 76%.

Даже если последующие эксперименты пытались поощрять людей сохранять независимое суждение и корректировать эту тенденцию с помощью системы поощрений и наказаний — «за правильный ответ — деньги, за неправильный — штраф» — людям все равно трудно отказаться от зависимости от ошибочных рекомендаций ИИ.

То есть люди, которые не понимают, не исчезли, вместо них появилась группа людей, которые благодаря поддержке ИИ стали увереннее и дают неверные ответы.

В настоящее время соответствующие научные результаты опубликованы на arXiv; команда провела пять экспериментов с общим числом участников 3132 человека, из которых четыре эксперимента были предварительно зарегистрированы, а один — прямое воспроизведение.

Это исследование фокусируется на «влиянии ИИ на способность человека к суждению».

Исследователь Валерио Капраро заявил в интервью:

Для человека очень важно сказать «Я не знаю», потому что это означает, что мы осознаем границы своих знаний.

Но теперь, с появлением ИИ, на любой вопрос можно сразу получить плавный ответ.

Так возникает вопрос: не будет ли это мешать человеческой способности к самостоятельному суждению, то есть не спешить делать выводы в условиях неопределенности?

Для этого исследовательская группа специально разработала набор вопросов, на которые крупные языковые модели легко ошибаются.

Это не математическая задача и не вопрос на общие знания, а вопрос о визуальных деталях из фильма.

Например, какого цвета форма команды в фильме «Я люблю Бекхэма»? Какая характерная прическа у Агаты в фильме «Будапештский отель»? Или какая машина у Моники в фильме «Кот на автостраде» и т. д.

Ты помнишь? Я, по крайней мере, сидел и гадал целый день, не мог вспомнить — это слишком коварно! Кто это запомнит… (разводит руками)

Для ИИ это также будет очень проблематично, поскольку ответы на эти вопросы часто отсутствуют в обычных текстовых источниках, и в обучающих данных модели, скорее всего, нет этих визуальных деталей.

Исследователи сначала протестировали модель Step 3.5 Flash, использовавшуюся в эксперименте, и результаты соответствовали ожиданиям — она обычно давала неверные ответы.

Кроме того, они протестировали еще более передовые модели, включая GPT-5.5, Claude Sonnet 4.6 и Gemini 3.5 Flash.

Эти передовые модели действительно лучше справляются с некоторыми вопросами, например, с характерной прической Агаты из фильма «Будапештский отель»: GPT-5.5, Gemini 3.5 Flash и Claude Sonnet 4.6 дают правильное направление: crown braid, milkmaid braid — то есть коса, оплетающая голову.

△

△

△

Например, в фильме «Я люблю Бекхэма» цвета футбольных форм также в основном передают ключевую информацию, такую как белый и красный.

Но когда речь заходит о вопросах, требующих опоры на визуальную память и с меньшим покрытием онлайн-текстовыми материалами, модель начинает массово ошибаться, причем ошибки у всех разные и по-своему интересные.

Самый характерный пример — автомобиль, которым управляла Моника в «Кошке на автостраде». Правильный ответ — синий Toyota Aygo 2008 года.

Но GPT-5.5 превратил его в скутер, добавив сюжетную линию: «Она ездила на нём по пригородам Рима, а после открытия пиццерии использовала его для доставки пиццы», а также такие элементы, как контраст между скромным, рабочим образом жизни и богатой городской жизнью Giovanni.

Выглядит логично и разумно, но на самом деле это просто модель придумала это откровенно с нуля, чтобы заставить вас поверить в правдоподобность! (Обманули, ха-ха)

Gemini 3.5 Flash утверждает, что она в основном ездит на автобусе и не имеет собственного автомобиля, причем множество деталей ошибочны и трудно заметны (например, у Моники нет постоянной привычки ездить с Серхио — модель обобщила отдельные случаи подъезда на чужой машине как несуществующую норму):

△

Claude Sonnet 4.6 на основе базы данных интернет-автомобилей определил: 2016 Toyota Auris Touring Sports Hybrid:

△

Шаг 3.5 Флэш бросил маскировку и прямо ответил: Fiat 500 2007 года (это же явная подделка!).

Проблема с этими ответами не только в том, что они неверны, но и в том, что они выглядят правдоподобно, что затрудняет их отличие!

Они не просто не знают — они еще и создают вымышленные персонажи, придумывают логику сюжета и добавляют назначение автомобилей, чтобы представить неверные ответы как полностью обоснованные и правдоподобные, хотя основные факты ошибочны.

Вот в чем кроется наибольшая опасность иллюзий ИИ — когда ключевым является ядро фактов, но оно скрывает свое невежество и ошибки с помощью гладкого выражения, заставляя вас поверить, что оно знает всё.

Эксперимент в основном проводился с помощью более легкой версии Step 3.5 Flash, без выбора таких ведущих моделей, как Claude, GPT и др.

Создайте 6 вопросов о деталях фильмов — это ключевой аспект исследовательского дизайна, поскольку многие знают, что ИИ часто ошибается и не надежен при ответах на такие вопросы.

Исследователи заявили, что они сделали это, чтобы исключить объяснение, согласно которому «люди слушают ИИ, потому что ИИ действительно надежен».

Если люди明知, что ИИ часто ошибается в этих ответах, но всё равно следуют им, то проблема выходит за рамки «разумной передачи суждения» и становится проблемой «настоящего подавления способности к суждению ИИ».

Исследование состоит из пяти этапов.

В первых двух экспериментах основное внимание уделялось тому, влияет ли рекомендация ИИ на долю ответов «Я не знаю».

В исследовании 1a 314 участника были разделены на две группы, чтобы ответить на шесть вопросов о деталях фильма. (Одна группа не имела доступа к ИИ, другая могла выбрать, обращаться ли к ИИ за помощью.)

Результат очевиден: без ИИ участники выбирали возможность не делать вывода в 36% случаев; при наличии ИИ этот показатель снизился до 6%.

То есть, если можно спросить ИИ, люди явно не хотят признаваться, что не знают.

Однако исследователи обеспокоены тем, что здесь существует техническое вмешательство, поскольку в исследовании 1a примерно 10% запросов к инструменту ИИ не получили нормального ответа.

Таким образом, они провели Study 1b.

На этот раз исследователи не вызывали ИИ в реальном времени, а заранее сгенерировали ответы ИИ, чтобы каждый запросивший помощь мог увидеть полный ответ.

Результат воспроизведен: без ИИ 44% людей сказали «Я не знаю»; с ИИ — только 3%.

Капраро назвал это явление «срывом проверочной остановки» (обманулся из-за серьезного тона ИИ и забыл проверить, верны ли его основные предпосылки и все допущения).

Затем исследователь задал следующий вопрос: если за неправильный ответ будет последовать цена, люди будут ли более осторожны?

Таким образом, в Study 2 были введены денежные стимулы и штрафы.

В этом раунде приняли участие 812 участников, разделенных на 4 группы: с ИИ-рекомендациями и без них; с денежными поощрениями и наказаниями и без них.

Правило: за правильный ответ начисляется 0,1 доллара США (примерно 0,73 юаня), за неправильный — списывается 0,1 доллара США, если ответ «не знаю» — начисление и списание не производятся.

В теории, хотя денег не так много, но за ошибочный ответ всё же есть стоимость, поэтому люди должны быть более осторожными.

Однако результаты показали, что деньги действительно оказали некоторое влияние, но этого远远不够, чтобы компенсировать влияние ИИ:

Без правил денежного поощрения или наказания использование ИИ снижает долю ответов «Я не знаю» с 17% до 1%.

При наличии правил денежного поощрения и наказания использование AI все еще снизит этот показатель с 21% до 2%.

Другими словами: экспериментальные результаты показывают, что даже если люди знают, что за неправильный ответ будут штрафовать, и осознают, что ИИ не очень надежен в таких вопросах, большинство все равно выбирают ответ ИИ, а не собственное суждение.

Более важно — точность.

Без ИИ точность составляла около 28%; с ИИ точность снизилась до 10%.

Это доказывает, что часть людей, хотя и знают о иллюзиях ИИ, всё равно принимают ответы, предоставленные ИИ.

После введения правил денежного поощрения и наказания точность повысилась:

Без ИИ: от 28% до 33%; с ИИ: от 10% до 17%.

Хотя точность группы с ИИ все еще значительно ниже, чем у группы без ИИ, это правило не совсем бесполезно — оно по крайней мере сократило количество обращений к ИИ:

Данные показывают, что при наличии вознаграждения среднее количество обращений участников к ИИ с целью получения совета снизилось с 5,44 до 4,93.

То есть деньги могут немного снизить доверие к ИИ и его использование, но не могут полностью освободить человека от влияния ошибочных рекомендаций ИИ, а также сложно вернуть человека в состояние осторожного суждения.

Самым важным для размышления является преувеличенная самоуверенность людей при ошибочных ответах ИИ:

Без ИИ и правил вознаграждения или наказания средняя уверенность участников составляла 29,6%.

После внедрения ИИ уверенность участников сразу выросла до 75,9%; кроме того, при наличии финансовых стимулов и штрафов уверенность группы с ИИ составила 73,5%.

В статье это обобщено прямо: ИИ дает больше уверенности, но не обязательно большей точности.

ИИ встраивается в повседневную жизнь с беспрецедентной скоростью, и очевидное изменение заключается в том, что многие советы ИИ теперь не запрашиваются нами активно, а предоставляются им самостоятельно.

Самый типичный сценарий — это спам в трендах.

Раньше, чтобы разобраться в теме, приходилось самому просматривать комментарии, медиа-материалы и ответы участников, постепенно складывая хронологию событий и случайно подхватывая несколько отклоняющихся новостей.

Сейчас всё иначе — как только вы зашли, суммаризация, созданная ИИ, уже находится на самом видном месте.

Всё, что произошло, кто что сказал, в чём суть спора и как развивались события — всё это упорядочено для вас, а также приложены ссылки на источники новостей.

Действительно удобно, но немного странно...

Чем четче он структурирует информацию, тем короче становится наш собственный путь к пониманию сути происходящего — прежнее удовольствие от поиска по всему интернету, самостоятельной оценки и случайного обнаружения интересных деталей, кажется, тоже было сжато.

Когда вы пишете, еще не успев набрать две строки, предложения с автозаполнением или подсказки от ИИ уже следуют за курсором.

Таким образом, Study 4 создал более реалистичный дизайн: вместо того чтобы предлагать участникам выбирать, задавать ли вопрос ИИ, рекомендации ИИ автоматически отображаются рядом с вопросом.

В этом раунде участвовало 853 человека, и результаты эксперимента в основном совпадают с предыдущими.

Без правил денежного поощрения или наказания автоматическое появление ИИ снижает долю ответов «Я не знаю» с 35% до 1%, а при наличии правил — с 39% до 7%.

Точность также продолжает страдать: без ИИ точность составляла около 27%, а с ИИ и без стимулов — всего 7%.

С ИИ и дополнительной мотивацией точность повысилась до 14%.

Это означает, что даже если человек не обращается за помощью к ИИ, а просто пассивно видит рекомендации ИИ, он все равно сильно подвержен их влиянию.

Это сигнал, на который необходимо обратить внимание — ИИ незаметно меняет наши привычки принятия решений.

Он больше не просто инструмент, который отвечает, только когда вы сами открываете чат, а стал системой, которая по умолчанию предоставляет вам «стандартный ответ».

• Он может появляться в верхней части страницы поиска.
• Появляется в черновике письма.
• Появляется в боковой панели документа.
• Появляется в обучающих программах, офисных системах и расширениях браузера.

Как только ответ по умолчанию оказывается перед нами, процесс человеческого суждения уже изменён; но самое страшное — мы к этому привыкли.

В статье использовано слово: эпистемия (когнитивная инерция)

Можно сказать, что люди принимают внешнюю достоверность ответов ИИ за счет их плавности, полноты и логичности, не проводя дальнейшей проверки.

У больших языковых моделей есть фундаментальная особенность: они всегда должны что-то генерировать. Даже面对自己不知道的问题, они редко действительно останавливаются.

Он может звучать очень правдоподобно. Но если мы действительно решим передать право принятия решений такой системе, мы можем унаследовать её привычку «не останавливаться».

Одно из объяснений, приведенных в статье, заключается в том, что «плавные ответы, предоставляемые ИИ, снижают порог, при котором человек решает: „Я знаю достаточно, чтобы ответить“».

Изначально вы могли подумать: «Я не знаю этот вопрос, не уверен, ладно… Мне нужно разобраться, прежде чем ответить».

Но после того как ИИ предоставил вам фразу, звучащую очень уверенно, психологический барьер становится таким: «Если он так сказал, значит, я тоже могу ответить».

Таким образом, «я не знаю» и «процесс поиска» были опущены и заменены на «стандартный, но неверный ответ», причем этот неверный ответ придал вам высокий уровень уверенности, который должен был возникнуть только в результате многократного поиска и проверки.

Даже если за неправильный ответ нужно заплатить штраф, люди лишь слегка настораживаются, но не могут полностью избавиться от привычки слишком доверять ИИ, в результате чего их прекрасно сбивают с пути.

Это исследование действительно напоминает нам не то, что «ИИ создает галлюцинации» — это уже не новость; а то, что возникает новая тревожная тенденция: ИИ меняет способ, которым люди справляются с неопределенностью.

Раньше человек, столкнувшись с незнакомой проблемой, мог выбрать один из трех вариантов:

1. Знай — отвечай.

2. Не знаете — проверьте.

3. Не отвечайте, если не уверены. Не делайте выводов.

Но после добавления ИИ процесс стал короче.

1. ИИ даёт ответ.

2. Пользователь принимает ответ.

Самый важный шаг — «знаю ли я на самом деле» — был незаметно пропущен.

Вот почему авторы статьи подчеркивают, что их исследование рассматривает не то, «что ответил ИИ», а то, «как ИИ сделал людей более склонными решить, что „я могу ответить“».

Это на шаг дальше, чем просто однократная ошибка, поскольку подрывает нашу метакогнитивную способность — ценный «внутренний сигнализатор», который отслеживает границы наших знаний.

Когда этот сигнализатор выходит из строя, мы теряем инстинкт различения «истинного знания» и «внешне правдоподобных предположений».

В тот момент мы, возможно, сможем по-прежнему эффективно получать ответы с помощью ИИ, но больше не сможем определить, действительно ли эти ответы принадлежат нам и заслуживают ли они доверия.

В то же время то, что будет сбито с курса ИИ, — это не отдельное суждение, а основа нашего как независимых мыслителей.

Этот убыток невозможно оценить.

Один из авторов статьи, Валерио Капраро, в интервью сказал: «Я очень обеспокоен детьми, потому что взрослые уже научились критическому мышлению. Но для детей, которые рождаются в среде, пронизанной этими системами, риск заключается в том, что они вообще не научатся базовым навыкам критического мышления».

За этим заявлением скрывается более глубокая тревога: нынешние взрослые хотя бы когда-то жили в мире без ИИ.

Таким образом, имея возможность с раннего возраста изучать базовые навыки оценки с помощью поисковых систем, книг, уроков, споров и экспериментов, прежде чем начать использовать ИИ, можно развить ощущение «я не уверен».

Но сегодняшние дети, возможно, вырастут вместе с этими ИИ с самого рождения.

Они могут просто спросить ИИ, когда делают домашнее задание, ищут информацию, пишут статьи или пытаются понять концепции.

Если с самого начала привыкать получать ответы сразу, не формируя собственного суждения и не проверяя ответ, то риск заключается не только в том, что будет дан неверный ответ, а в том, что у них может не появиться возможности развить базовые навыки критического мышления.

По мнению Капраро, решение этой проблемы требует не только исправления ошибок моделями, но и подхода, основанного на цифровой грамотности и политике образования.

Конечно, модели должны улучшаться, например, лучше выражать неопределенность, снижать количество галлюцинаций и предупреждать пользователей при недостатке доказательств.

В то же время Капраро считает, что нельзя возлагать все надежды исключительно на модели.

Более перспективное и долгосрочное решение — это образование.

Особенно детское образование.

Для сегодняшних детей крайне важно и необходимо развивать процесс и привычку говорить: «Я не знаю, но я узнаю».

В конце эксперимента исследователи также признали ограничения: эксперимент использовал только вопросы о деталях фильмов, и его применимость к другим областям требует дальнейшей проверки; стимулирующие суммы были небольшими, и неясно, сможет ли более высокая заинтересованность дополнительно скорректировать поведение.

Но хотя бы существующие данные уже дают четкий сигнал: люди меньше говорят «не знаю», чаще дают ответы, реже отвечают правильно, но при этом более уверены.

Это может быть одним из самых скрытых рисков эпохи ИИ.

ИИ не только обманул вас, он также сделал вас менее способными осознать, что вы на самом деле ничего не знаете.

Последний вывод этого исследования был сдержанным, но тяжелым: «По мере того как ответы, созданные ИИ, становятся повсеместными и часто появляются сами по себе, наши исследования показывают, что способность человека спокойно признавать „Я не знаю“ в взаимодействии с ИИ может стать одним из первых жертв человеческо-машинного взаимодействия».

По мере того как ИИ-системы становятся все более распространенными, способность человеческого суждения удержать свои позиции, возможно, будет зависеть не от того, чтобы сделать ИИ более точным, а от того, сможем ли мы сохранить самоосознание — четко понимать границы своих знаний и действовать с осторожностью на их основе.

Это не значит, что ИИ нельзя использовать; напротив, ИИ, конечно, может быть мощным вспомогательным инструментом;

Но при условии, что он должен помогать людям думать, а не заменять их мышление, нам еще больше нужно придерживаться своей осторожной оценки.

Более здоровый способ использования ИИ — сначала самостоятельно анализировать и активно учиться, а обращаться за помощью к ИИ только тогда, когда действительно не понимаешь, причём при этом всегда сохранять инстинкт скептицизма (включая скептицизм по отношению к ИИ и самокритику).

Например:

Could it be wrong?

Где доказательства?

Ссылка для справки возвращает 404 или пустую страницу?

Поскольку он сказал это слишком гладко, я решил, что это правильно?

Это также предупреждение для продуктов ИИ и их разработчиков: «Зрелость технологий в конечном итоге проявляется в благоговении перед неизвестным».

Направление будущего развития ИИ, возможно, заключается не только в том, чтобы ИИ отвечал быстрее и более похоже на человека, но и в том, чтобы ИИ научился честно признавать неопределенность;

Когда доказательств недостаточно, а вопрос зависит от визуальных деталей, актуальной информации или профессионального суждения, ИИ должен добровольно сообщить пользователю, что ответ ненадежен, а не притворяться всезнающим.

А для таких обычных людей, как вы и я, которых уносит вперёд волна эпохи, самое ценное умение, возможно, — это снова научиться говорить: «Я не знаю».

В эпоху, когда ИИ всегда может дать ответ, фраза «Я не знаю» — это не признание невежества, а доказательство сохранения способности к суждению.

Ссылка для справки:

[1]https://www.theregister.com/ai-and-ml/2026/07/19/using-ai-makes-people-less-likely-to-admit-they-dont-know-something/5274567

[2]https://arxiv.org/pdf/2607.13562

Эта статья взята из официального аккаунта WeChat «Quantum Bit», автор: Вэнь Тин