Les hallucinations de l'IA affaiblissent le jugement et la confiance humains

Une étude récente révèle que les hallucinations d'IA ne se contentent plus de vous tromper : elles renforcent votre confiance en vous et affaiblissent votre jugement.

Cela ne semble pas bon.

Récemment, une étude menée par l'École normale supérieure de Paris, l'Université La Sapienza de Rome et l'Université de Milan-Bicocca a révélé :

Sans IA, les gens admettent plus facilement « Je ne sais pas » et mettent leur jugement en attente ;

Mais dès l'apparition de l'IA, même si les gens savent qu'elle commet des erreurs et qu'ils seront pénalisés pour des réponses incorrectes, la majorité choisissent quand même d'accepter sans critique les réponses qu'elle fournit, les considérant comme leurs propres jugements et les affirmant avec confiance.

Les résultats expérimentaux illustrent également clairement cette tendance : dans la première expérience sans IA, 44 % des participants ont admis « Je ne sais pas », avec un taux de précision de 27 % ;

Après l'utilisation d'une assistance par IA, le pourcentage de personnes déclarant ne pas savoir est passé de 44 % à 3 %, la précision est passée de 27 % à 9 %, tandis que la confiance en soi a grimpé de 30 % à 76 %.

Même si des expériences ultérieures ont tenté d'encourager les participants à maintenir un jugement indépendant et de corriger cette tendance grâce à un système de récompenses et de pénalités — « gagner de l'argent pour une bonne réponse, perdre de l'argent pour une mauvaise réponse » — les gens ont toujours du mal à se libérer de leur dépendance aux conseils erronés de l'IA.

Autrement dit, les personnes qui ne comprennent pas n'ont pas vraiment disparu ; elles ont été remplacées par un groupe qui, grâce à l'IA, se sent désormais sûr de lui et donne des réponses erronées.

Les résultats de la recherche sont actuellement publiés sur arXiv. L'équipe a mené cinq expériences, impliquant un total de 3 132 participants, dont quatre étaient préenregistrées et une était une réplication directe.

Cette étude porte sur « l'impact de l'IA sur les capacités de jugement humain ».

Le chercheur Valerio Capraro a déclaré lors d'une interview :

Il est très important pour les humains de dire « Je ne sais pas », car cela signifie que nous sommes conscients des limites de nos connaissances.

Mais maintenant, avec l'IA, presque toute question reçoit immédiatement une réponse fluide.

La question est donc la suivante : cela va-t-il perturber la capacité humaine naturelle à juger, c’est-à-dire à ne pas précipiter de conclusions en cas d’incertitude ?

À cet effet, l'équipe de recherche a conçu spécifiquement un ensemble de questions que les grands modèles linguistiques sont susceptibles de mal répondre.

Ce n'est pas un problème de raisonnement mathématique, ni une question de bon sens, mais une question sur les détails visuels d'un film.

Par exemple, quelle est la couleur de l’uniforme de l’équipe dans « Je suis amoureuse de Beckham » ? Quelle est la coiffure emblématique d’Agatha dans « Le Grand Hôtel de Budapest » ? Ou quelle voiture conduit Monica dans « Un chat sur l’autoroute » ?

Tu te souviens ? Moi, j’ai été figé pendant des heures sans arriver à me rappeler, c’est trop subtil ! Qui peut se souvenir de ça… (épaules levées)

Pour l'IA, cela sera également très problématique, car les réponses à ces questions ne se trouvent généralement pas dans les documents textuels usuels, et les détails visuels sont probablement absents des données d'entraînement du modèle.

Les chercheurs ont d'abord testé le modèle Step 3.5 Flash utilisé dans l'expérience ; les résultats étaient conformes aux attentes — il répondait généralement de manière incorrecte.

De plus, ils ont testé des modèles encore plus avancés, notamment GPT-5.5, Claude Sonnet 4.6 et Gemini 3.5 Flash.

Ces modèles de pointe se distinguent effectivement sur certaines questions, comme le coiffure emblématique d'Agatha dans "The Grand Budapest Hotel" : GPT-5.5, Gemini 3.5 Flash et Claude Sonnet 4.6 ont tous fourni des réponses correctes : crown braid, milkmaid braid ; soit une tresse entourant la tête.

△

△

△

Par exemple, dans « Je suis Beckham », les couleurs des maillots des équipes capturent également des informations clés comme le blanc et le rouge.

Mais dès qu'il s'agit de questions plus dépendantes de la mémoire visuelle précise et moins couvertes par des documents textuels en ligne, le modèle commence à échouer collectivement, et chaque échec est remarquable à sa manière.

Le plus typique est la voiture conduite par Monica dans « Un chat sur l'autoroute ». La bonne réponse est une Toyota Aygo bleue de 2008.

Mais GPT-5.5 l’a décrit comme un scooter, et a ajouté une histoire selon laquelle « elle le conduisait dans les faubourgs de Rome, puis l’utilisait pour livrer des pizzas après avoir ouvert sa pizzeria », ainsi que des éléments tels que « le contraste entre un mode de vie modeste et ouvrier et la vie urbaine aisée de Giovanni ».

Cela semble logique et raisonnable, mais en réalité, c’est entièrement une invention de l’ modèle, inventée sérieusement de toutes pièces pour te faire croire que c’est plausible ! (Tu t’es fait avoir, hhh)

Gemini 3.5 Flash affirme qu'elle prend principalement le bus et n'a pas de voiture elle-même, avec de nombreuses erreurs de détails encore plus flagrantes et difficiles à détecter (par exemple, il n'existe pas de règle selon laquelle Monica prendrait systématiquement la voiture de Sergio ; le modèle a regroupé des scènes isolées de trajets en covoiturage en une habitude inexistante) :

△

Claude Sonnet 4.6 a déduit à partir de la base de données automobile en ligne qu'il s'agit d'une Toyota Auris Touring Sports Hybrid de 2016 :

△

Étape 3.5 Flash a abandonné son masque et a répondu directement : une Fiat 500 de 2007 (c’est évident, sérieusement !).

Les réponses ne sont pas seulement fausses, elles sont fausses de manière très plausible, rendant difficile la distinction !

Ils ne se contentent pas de ne pas savoir ; ils embellissent les fausses réponses en créant des personnages fictifs, en inventant des logiques narratives et en ajoutant des utilisations de véhicules, ce qui rend leurs propos apparemment cohérents, bien que les faits fondamentaux soient erronés.

C’est précisément là que les hallucinations d’IA sont les plus dangereuses — alors que les faits fondamentaux sont le point le plus crucial, elle cache son ignorance et ses erreurs derrière une expression fluide, vous faisant croire qu’elle tout comprend.

L'expérience a principalement été réalisée avec le Step 3.5 Flash, plus léger, sans sélectionner systématiquement des modèles de pointe comme Claude ou GPT.

Concevoir six questions sur des détails de films, ce qui est un point crucial dans la conception de recherches, car beaucoup de gens savent que ce type de question est souvent mal répondu ou peu fiable par l'IA.

Les chercheurs affirment qu'ils ont fait cela pour éliminer une explication selon laquelle « les gens écoutent l'IA parce que l'IA est vraiment fiable ».

Si les gens savent parfaitement que ces réponses sont souvent erronées, mais les suivent quand même, le problème ne se limite plus à « externaliser raisonnablement le jugement », mais à « une véritable érosion de la capacité de jugement » causée par l'IA.

L'étude est divisée en cinq rounds.

Les deux premières expériences visaient principalement à déterminer si les recommandations de l'IA influençaient le pourcentage de réponses « Je ne sais pas ».

Dans l'étude 1a, 314 participants ont été répartis en deux groupes pour répondre à six questions sur des détails de films. (Un groupe n'avait pas accès à l'IA, l'autre pouvait choisir s'il voulait solliciter l'IA.)

Les résultats sont clairs : sans IA, 36 % des participants ont choisi de ne pas se prononcer ; avec l’IA disponible, ce pourcentage est tombé à 6 %.

Autrement dit, tant qu'on peut poser la question à une IA, les gens évitent clairement de dire qu'ils ne savent pas.

Cependant, les chercheurs craignent une interférence technique, car dans l'étude 1a, environ 10 % des demandes adressées à l'outil IA n'ont pas reçu de réponse normale.

Ils ont donc réalisé l'étude 1b.

Cette fois, les chercheurs n'appellent plus l'IA en temps réel, mais génèrent préalablement les réponses de l'IA pour s'assurer que chaque demandeur voit une réponse complète.

Le résultat a été reproduit : sans IA, 44 % des personnes ont répondu « Je ne sais pas » ; avec IA, ce chiffre est tombé à 3 %.

Capraro appelle ce phénomène « l'effondrement de la suspension de vérification » (trompé par l'air sérieux de l'IA, on a oublié de vérifier la validité de ses prémisses et de ses hypothèses).

Ensuite, les chercheurs ont demandé : si une mauvaise réponse avait un coût, les gens seraient-ils plus prudents ?

Study 2 a introduit des règles de récompense et de pénalité financières.

Cette ronde a réuni 812 participants répartis en 4 groupes : avec ou sans recommandations IA ; avec ou sans récompenses ou pénalités financières.

La règle est : 0,10 USD (environ 0,73 RMB) récompensés pour chaque bonne réponse, 0,10 USD retirés pour chaque mauvaise réponse, et aucune récompense ni pénalité si vous répondez « je ne sais pas ».

Normalement, bien que la somme d'argent ne soit pas importante, le fait qu'une erreur ait un coût devrait inciter les gens à être plus prudents.

Mais les résultats montrent que l'argent a effectivement apporté une aide, mais elle est loin d'être suffisante pour compenser l'impact de l'IA :

Sans règles de récompense ou de pénalité financière, l'utilisation de l'IA réduit la proportion de « Je ne sais pas » de 17 % à 1 %.

Lorsqu'il existe des règles de récompense ou de pénalité financière, la disponibilité de l'IA fait encore descendre ce pourcentage de 21 % à 2 %.

Autrement dit : les résultats de l'expérience montrent que, même si les gens savent qu'une mauvaise réponse entraîne une pénalité financière et que l'IA n'est pas très fiable sur ce type de questions, la majorité choisit quand même de croire la réponse de l'IA plutôt que leur propre jugement.

Plus important encore, la précision.

Sans IA, la précision était d'environ 28 % ; avec IA, la précision n'est plus que de 10 %.

Cela prouve qu'une partie des personnes savent probablement que l'IA peut générer des hallucinations, mais adoptent néanmoins les réponses fournies par l'IA.

Après l'introduction de règles de récompense et de pénalité financières, la précision a augmenté :

Sans IA : de 28 % à 33 % ; avec IA : de 10 % à 17 %.

Bien que le taux de précision du groupe avec IA reste nettement inférieur à celui du groupe sans IA, cette règle n’est pas sans effet : elle a au moins réduit légèrement le nombre de fois où les gens ont recours à l’IA :

Les données montrent que, dans des conditions avec récompense, le nombre moyen de fois où les participants ont demandé des conseils à l'IA est passé de 5,44 à 4,93.

Cela signifie que l'argent peut légèrement réduire la confiance et l'utilisation de l'IA, mais ne permet pas de se libérer complètement de l'influence des conseils erronés de l'IA, et il est difficile de ramener les gens à un état de jugement prudent.

Ce qui mérite le plus réflexion, c’est la confiance exagérée des gens face aux réponses erronées de l’IA :

Sans IA ni règles de récompense ou de pénalité financière, la confiance moyenne des participants était de 29,6 %.

Après l'introduction de l'IA, la confiance des participants a directement atteint 75,9 % ; de plus, dans le cas où des incitations financières étaient en jeu, la confiance du groupe IA était de 73,5 %.

Pour cela, la synthèse dans l'article est très directe : l'IA donne plus de confiance, mais pas nécessairement plus d'exactitude.

L'IA s'intègre actuellement à un rythme sans précédent dans la vie quotidienne, et un changement évident est que de nombreuses suggestions d'IA ne proviennent plus de nos questions actives, mais s'offrent spontanément.

Le scénario le plus typique est de faire monter les tendances.

Avant, pour entrer dans un sujet, il fallait parcourir soi-même les commentaires, les articles de presse et les réponses des concernés, en reconstituant progressivement la chronologie tout en savourant quelques péripéties détournées.

Maintenant, c'est différent : dès que vous entrez, le résumé généré par l'IA s'affiche en position la plus visible.

Ce qui s’est passé, ce qui a été dit, les points de controverse et les développements ultérieurs sont tous clarifiés pour vous, avec en plus des liens vers les sources d’information.

C'est effectivement plus simple, mais c'est aussi un peu subtil...

Plus les informations sont clairement organisées, plus notre propre processus d'exploration des tenants et des aboutissants est raccourci, et le plaisir d'autrefois — consistant à fouiller partout, à juger par soi-même et à découvrir accidentellement des détails inattendus — semble également avoir été comprimé.

Lorsque vous écrivez, les phrases complétées par l’IA ou les suggestions apparaissent déjà derrière le curseur après seulement deux lignes tapées.

Ainsi, l'étude 4 a conçu une approche plus réaliste : au lieu de laisser les participants choisir s'ils voulaient poser une question à l'IA, les suggestions de l'IA étaient automatiquement affichées à côté des questions.

Cette ronde a compté 853 participants, et les résultats de l'expérience sont essentiellement les mêmes que précédemment.

Sans règle de récompense ou de pénalité financière, l'apparition automatique de l'IA fait passer le pourcentage de « Je ne sais pas » de 35 % à 1 % ; avec règle, il passe de 39 % à 7 %.

La précision continue d’être affectée : sans IA, la précision était d’environ 27 % ; avec IA, mais sans incitation, elle n’est plus que de 7 %.

Avec l'IA et l'incitation, la précision a augmenté à 14 %.

Cela montre que, même sans solliciter activement l'IA, simplement être exposé à ses suggestions peut fortement influencer les personnes.

C'est un signal à ne pas négliger — l'IA est en train de redéfinir silencieusement nos habitudes de jugement.

Il n'est plus simplement un outil qui répond uniquement lorsque vous ouvrez vous-même la conversation, mais est devenu la « réponse standard » que le système vous impose par défaut.

• Il peut apparaître en haut de la page de recherche.
• Apparaît dans le brouillon de l'e-mail.
• Apparaît dans la barre latérale du document.
• Apparaît dans les logiciels d'apprentissage, les systèmes bureautiques et les extensions de navigateur.

Dès que la réponse est par défaut devant nos yeux, le processus de jugement humain est déjà modifié ; mais ce qui est le plus effrayant, c’est que nous y sommes devenus habitués.

L'article utilise un mot : epistemia (inertie cognitive)

On peut comprendre que les gens acceptent la crédibilité superficielle des réponses de l'IA parce qu'elles semblent fluides, complètes et bien structurées, sans les vérifier davantage.

Les grands modèles linguistiques ont une caractéristique fondamentale : ils doivent toujours produire quelque chose. Face à une question qu'ils ne connaissent pas, ils rares fois s'arrêtent vraiment.

Il peut sembler très réel. Mais si nous choisissons vraiment de confier le jugement à un tel système, nous pourrions hériter de son habitude de « ne pas suspendre ».

Une explication proposée dans l'article est que « les réponses fluides fournies par l'IA abaissent le seuil pour que les humains décident qu'ils savent suffisamment pour répondre. »

Au départ, vous pourriez penser : « Je ne connais pas cette question, je ne suis pas sûr, tant pis… Je dois comprendre avant de répondre. »

Mais après que l’IA vous a fourni une phrase qui semble très certaine, le seuil psychologique devient : « Puisqu’elle l’a dit ainsi, je peux aussi répondre. »

Ainsi, « je ne sais pas » et le processus de recherche ont été omis et remplacés par une « réponse standard mais erronée », et cette erreur vous confère un niveau de confiance élevé que vous ne devriez acquérir qu’au travers d’une recherche et d’une vérification répétées.

Même si une mauvaise réponse entraîne une pénalité financière, les gens ne deviennent que légèrement plus prudents et ne parviennent pas à abandonner complètement leur habitude de trop faire confiance à l’IA, ce qui les conduit à se laisser facilement dévier.

Ce que cette étude nous rappelle vraiment, ce n'est pas que « l'IA hallucine » — ce phénomène n'est plus nouveau —, mais un changement préoccupant : l'IA modifie la manière dont les humains gèrent l'incertitude.

Par le passé, face à un problème inconnu, une personne pouvait avoir trois choix :

1. Si vous savez, répondez.

2. Si vous ne savez pas, cherchez.

3. Ne répondez pas si vous n’êtes pas sûr, ne portez pas de jugement.

Mais après l'ajout de l'IA, le processus a été raccourci.

1. L'IA donne la réponse.

2. L'utilisateur accepte la réponse.

La étape la plus importante, à savoir « est-ce que je le sais vraiment ? », a été passée inaperçue.

C'est pourquoi les auteurs de l'article insistent sur le fait que leur étude ne porte pas sur « ce que l'IA fait répondre », mais sur « ce qui permet à l'IA de faciliter la décision de dire ’je peux répondre’ ».

Cela va au-delà d'une simple erreur de réponse, car il érode notre méta-cognition, ce « signal d'alarme interne » qui nous permet de surveiller les limites de nos connaissances, et qui est extrêmement précieux.

Lorsque cet alarme tombe en panne, nous perdons notre instinct pour distinguer le « savoir vrai » des « suppositions plausibles ».

At that time, we may still be able to efficiently obtain answers through AI, but we will no longer be able to determine whether these answers truly belong to us or are genuinely trustworthy.

En même temps, ce qui sera dévoyé par l'IA ne sera plus un jugement spécifique, mais la fondation même de notre capacité à penser de manière indépendante.

This loss is immeasurable.

L'un des auteurs de l'article, Valerio Capraro, a déclaré lors d'une interview : « Je suis très préoccupé par les enfants, car les adultes ont déjà appris à penser de manière critique. Mais pour les enfants qui naissent avec ces systèmes, le risque est qu'ils n'apprennent même pas les compétences critiques de base. »

Ces mots cachent une préoccupation plus profonde : les adultes d'aujourd'hui ont au moins vécu dans un monde sans IA.

Ainsi, avoir eu l'occasion d'apprendre dès le plus jeune âge des compétences de jugement de base grâce aux moteurs de recherche, aux livres, aux cours, aux débats et à l'expérimentation, avant de commencer à utiliser l'IA, permet de développer un sentiment de « je ne suis pas sûr ».

Mais les enfants d'aujourd'hui pourraient grandir avec ces IA dès leur naissance.

Ils peuvent facilement poser des questions à l'IA pour faire leurs devoirs, rechercher des informations, rédiger des articles ou comprendre des concepts.

Si l'on a dès le départ l'habitude de recevoir directement les réponses sans d'abord former son propre jugement puis vérifier la réponse, le risque ne se limite pas à une erreur sur une question, mais à la possibilité de ne jamais développer les compétences les plus élémentaires de pensée critique.

Selon Capraro, résoudre ce problème ne peut pas se limiter à ce que les entreprises de modèles corrigent des bogues ; il faut également s'attaquer à la littératie en IA et aux politiques éducatives.

Les entreprises de modèles devraient bien sûr s'améliorer, par exemple en exprimant mieux l'incertitude, en réduisant les hallucinations et en avertissant les utilisateurs en cas d'insuffisance de preuves.

Mais en même temps, Capraro estime qu'il ne faut pas placer tous ses espoirs dans les entreprises de modèles.

La solution la plus prometteuse et à plus long terme est l'éducation.

Surtout l'éducation des enfants.

Il est très important et nécessaire pour les enfants d'aujourd'hui de pratiquer le processus « Je ne sais pas, mais je vais comprendre » et d'en développer l'habitude.

À la fin de l'expérience, les chercheurs ont également reconnu des limites : l'expérience n'a utilisé que des questions portant sur des détails de films, et il reste à vérifier si ces résultats s'appliquent à d'autres domaines ; le montant de l'incitation était faible, et il n'est pas clair si des enjeux plus importants pourraient corriger davantage les comportements.

Mais les données existantes fournissent déjà un signal clair : les gens disent moins souvent qu'ils ne savent pas, donnent plus de réponses, ont moins de bonnes réponses, mais sont plus confiants.

Cela pourrait être l'un des risques les plus subtils de l'ère de l'IA.

L'IA ne vous a pas seulement trompé, elle vous a aussi rendu plus difficile de réaliser que vous ne savez pas en réalité.

Le jugement final de cette étude est modéré, mais lourd : « À mesure que les réponses générées par l'IA deviennent omniprésentes, voire souvent indésirables, notre étude suggère que la capacité des humains à reconnaître sincèrement “Je ne sais pas” lors d'interactions avec l'IA pourrait devenir l'une des premières victimes de l'interaction homme-machine. »

Alors que les systèmes d'IA deviennent de plus en plus répandus, la capacité de l'humain à maintenir son jugement dépendra peut-être moins à rendre l'IA plus précise, qu'à notre capacité à préserver notre lucidité — reconnaître clairement les limites de nos connaissances et agir avec prudence en conséquence.

Ce n'est pas dire que l'IA ne peut pas être utilisée ; au contraire, l'IA peut certainement être un outil d'assistance puissant ;

Mais à condition qu'il aide les gens à réfléchir, et non pas à les épargner de la réflexion, nous devons davantage préserver notre ligne de fond de jugement prudents.

Une manière plus saine d'utiliser l'IA consiste à d'abord juger par soi-même, apprendre activement, et ne demander de l'aide à l'IA que lorsqu'on ne comprend vraiment pas, tout en conservant un instinct de questionnement constant (à la fois envers l'IA et envers soi-même).

Par exemple :

Could it be wrong?

Où est la preuve ?

Le lien de référence renvoie-t-il une erreur 404 ou une page vide ?

Ai-je cru qu’il avait raison simplement parce qu’il parlait trop bien ?

Cela constitue également un avertissement pour les produits d'IA et leurs développeurs : « La maturité technologique se manifestera finalement par le respect de l'inconnu. »

La future évolution de l’IA pourrait ne pas se limiter à rendre l’IA plus rapide et plus humaine dans ses réponses, mais aussi à lui apprendre à exprimer honnêtement son incertitude ;

Lorsque les preuves sont insuffisantes, que la question dépend de détails visuels, d'informations en temps réel ou de jugements professionnels, l'IA doit informer activement l'utilisateur que cette réponse n'est pas fiable, au lieu de prétendre tout savoir.

Et pour les personnes ordinaires, comme toi et moi, entraînées par le courant de l'époque, la capacité la plus précieuse pourrait simplement être de réapprendre à dire : « Je ne sais pas. »

À une époque où l’IA peut toujours fournir une réponse, dire « Je ne sais pas » n’est pas une aveu d’ignorance, mais une preuve que le jugement est encore présent.

Lien de référence :

[1]https://www.theregister.com/ai-and-ml/2026/07/19/using-ai-makes-people-less-likely-to-admit-they-dont-know-something/5274567

[2]https://arxiv.org/pdf/2607.13562

Cet article provient du compte officiel WeChat « Quantum Bit », auteur : Wen Ting