Las alucinaciones de la IA erosionan el juicio y la confianza humanos

Un estudio reciente descubre que las ilusiones de IA no solo te engañan, sino que también aumentan tu confianza y debilitan tu capacidad de juicio.

Esto no es bueno.

Recientemente, un estudio de la École Normale Supérieure de París, la Universidad de Roma La Sapienza y la Universidad de Milán Bicocca descubrió:

Sin IA, las personas reconocerían más fácilmente “no lo sé” y pospondrían el juicio;

Pero tan pronto como aparece la IA, aunque la gente sepa perfectamente que puede cometer errores, aunque sepa que responder mal conlleva sanciones, la mayoría aún opta por aceptar ciegamente las respuestas que proporciona, tratándolas como sus propios juicios y expresándolas con confianza.

Los resultados experimentales también muestran claramente esta tendencia: en el primer experimento sin IA, el porcentaje de personas que admitieron "no lo sé" fue del 44%, con una tasa de precisión del 27%;

Después de utilizar la asistencia de IA, el porcentaje de personas que decían no saberlo disminuyó bruscamente del 44% al 3%, la precisión bajó del 27% al 9%, pero la confianza aumentó del 30% al 76%.

Aunque experimentos posteriores intentaron fomentar el juicio independiente y corregir esta tendencia mediante un sistema de recompensas y penalizaciones, como pagar por respuestas correctas y multar por incorrectas, las personas aún tienen dificultades para superar la dependencia de los consejos erróneos de la IA.

Es decir, las personas que no entienden no han desaparecido; en su lugar, hay un grupo que, con el apoyo de la IA, se siente muy seguro y da respuestas incorrectas.

Actualmente, los resultados relacionados se han publicado en arXiv; el equipo realizó cinco experimentos con un total de 3,132 participantes, de los cuales cuatro estaban preregistrados y uno fue una replicación directa.

Este estudio se centra en "el impacto de la IA en la capacidad de juicio humano."

El investigador Valerio Capraro dijo en una entrevista:

Para los humanos, decir "no lo sé" es muy importante, porque significa que somos conscientes de los límites de nuestro conocimiento.

Pero ahora, con la IA, casi cualquier pregunta puede obtener una respuesta fluida inmediatamente.

Entonces surge la pregunta: ¿esto interferirá con la capacidad de juicio humana original? Es decir, en situaciones de incertidumbre, ¿no deberíamos apresurarnos a sacar conclusiones?

Para ello, el equipo de investigación diseñó específicamente un conjunto de preguntas que los modelos de lenguaje grandes tienden a responder incorrectamente.

No es un problema de razonamiento matemático, ni una pregunta de sentido común, sino una pregunta sobre detalles visuales de una película.

Por ejemplo, ¿de qué color es el uniforme del equipo en "Yo amo a Beckham"? ¿Cuál es el peinado distintivo de Agatha en "El Gran Hotel Budapest"? ¿O qué auto conduce Monica en "Un gato en la autopista"?

¿Lo recuerdas? Yo, desde luego, me quedé atónito durante mucho tiempo sin poder recordarlo, ¡esto es demasiado difícil! ¿Quién puede recordarlo...? (se encoge de hombros)

Para la IA, también resulta muy complicado, ya que las respuestas a estas preguntas a menudo no se encuentran en fuentes de texto convencionales, y es poco probable que los datos de entrenamiento del modelo incluyan estos detalles visuales.

Los investigadores primero probaron el modelo Step 3.5 Flash utilizado en el experimento, y los resultados fueron los esperados: generalmente da respuestas incorrectas.

Además, también probaron modelos más avanzados, incluyendo GPT-5.5, Claude Sonnet 4.6 y Gemini 3.5 Flash.

Estos modelos avanzados realmente se desempeñan mejor en algunas preguntas, como el peinado distintivo de Agatha en "El Gran Hotel Budapest"; GPT-5.5, Gemini 3.5 Flash y Claude Sonnet 4.6 todos apuntan en la dirección correcta: crown braid, milkmaid braid; es decir, una trenza que rodea la cabeza.

△

△

△

Por ejemplo, en "I Love Beckham", los colores de los uniformes del equipo también captan principalmente información clave como el blanco y el rojo.

Pero al enfrentarse a preguntas que dependen más de la memoria visual concreta y tienen menos cobertura de materiales textuales en línea, el modelo comienza a fallar colectivamente, y cada falla es de lo más original.

Lo más típico es el auto que conducía Monica en "Un gato en la autopista". La respuesta correcta es un Toyota Aygo azul del modelo 2008.

Pero GPT-5.5 lo describió como una scooters, y añadió una trama en la que "ella la conducía por las afueras de Roma, y más tarde la usaba para hacer entregas de pizza después de abrir su pizzería", así como elementos como "el contraste entre el estilo de vida sencillo y de clase trabajadora y la vida próspera y urbana de Giovanni".

Parece lógico y razonable, ¡pero en realidad es completamente una invención del modelo para hacerte creer que es coherente, con una cara seria y inventando cosas de la nada! (¿Te has dejado engañar? hhh)

Gemini 3.5 Flash dice que ella principalmente toma el autobús y no tiene su propio coche, y los detalles incorrectos son aún más absurdos y difíciles de detectar (por ejemplo, no existe un patrón consistente de que Monica usualmente tome el auto de Sergio; el modelo ha generalizado escenas aisladas de viajes en auto como una costumbre inexistente):

△

Claude Sonnet 4.6 inferió a partir de la base de datos de automóviles en internet: 2016 Toyota Auris Touring Sports Hybrid:

△

Paso 3.5 Flash dejó de disfrazarse y respondió directamente con un Fiat 500 modelo 2007 (¡eso es obviamente falso!).

The problem with these answers is not just that they're wrong, but that they're wrong in a way that seems convincing, making them hard to distinguish!

No son simplemente ignorantes; también fabrican personajes, inventan lógicas narrativas y añaden usos para los vehículos para presentar respuestas erróneas de manera completa y convincente, aunque los hechos fundamentales sean incorrectos.

Este es precisamente el lugar más peligroso de las ilusiones de IA: cuando el hecho central es el punto más importante, pero oculta su ignorancia y errores con una expresión fluida, haciéndote creer que lo sabe todo.

El experimento se realizó principalmente con el Step 3.5 Flash, más ligero, sin seleccionar modelos de primera línea como Claude o GPT.

Diseñe seis preguntas sobre detalles de películas, lo cual es un aspecto clave en el diseño de estudios, ya que muchas personas saben que este tipo de preguntas suele ser incorrecto o poco confiable para la IA.

Los investigadores dicen que lo hicieron para descartar una explicación según la cual "la gente escucha a la IA porque la IA es realmente confiable".

Si las personas saben de antemano que estas respuestas son frecuentemente incorrectas, pero aún así siguen las respuestas de la IA, el problema ya no es solo “externalizar razonablemente el juicio”, sino que “la capacidad de juicio realmente ha sido suprimida por la IA”.

La investigación se divide en cinco rondas.

En las dos primeras rondas de experimentos, se observó principalmente si las sugerencias de la IA afectaban el porcentaje de "no sé".

En el Estudio 1a, 314 participantes se dividieron en dos grupos para responder seis preguntas sobre detalles de películas. (Un grupo sin IA; otro grupo podía elegir si solicitar ayuda a la IA.)

Los resultados son claros: sin IA, el 36% de los participantes eligieron no emitir un juicio; con IA disponible, este porcentaje disminuyó al 6%.

Es decir, siempre que se pueda preguntarle a una IA, las personas claramente evitan decir que no saben.

Sin embargo, los investigadores temen que haya una interferencia técnica, ya que en el Estudio 1a, aproximadamente el 10% de las solicitudes de la herramienta de IA no respondieron correctamente.

Entonces hicieron el Estudio 1b.

En esta ocasión, los investigadores no llamaron a la IA en tiempo real, sino que generaron previamente las respuestas de la IA para asegurar que cada persona que solicita ayuda pueda ver la respuesta completa.

El resultado se replicó: sin IA, el 44% de las personas dicen “no sé”; con IA, solo el 3%.

Capraro llamó a este fenómeno "la colapso de la suspensión de verificación" (engañado por la seriedad de la IA, olvidando verificar si sus premisas fundamentales y supuestos eran correctos).

A continuación, los investigadores preguntaron: ¿Las personas serían más cautelosas si hubiera un costo por responder incorrectamente?

Study 2 introdujo reglas de recompensas y penalizaciones monetarias.

En esta ronda participaron 812 personas, divididas en 4 grupos: con o sin sugerencias de IA; con o sin recompensas o penalizaciones monetarias.

La regla es: responder correctamente otorga una recompensa de 0.1 USD (aproximadamente 0.73 CNY), responder incorrectamente resta 0.1 USD, y decir "no sé" no otorga ni retira recompensas.

Teóricamente, aunque la cantidad de dinero no es mucha, como hay un costo por responder incorrectamente, la gente debería ser más cuidadosa.

Pero los resultados muestran que el dinero realmente tuvo un pequeño efecto, pero aún está muy lejos de compensar el impacto de la IA:

Sin reglas de recompensa o penalización monetaria, el uso de IA puede reducir el porcentaje de "No sé" del 17% al 1%.

Cuando hay reglas de recompensas y penalizaciones monetarias, el uso de IA aún reduce este porcentaje del 21% al 2%.

En otras palabras: los resultados del experimento muestran que, incluso cuando las personas saben que responder incorrectamente implica una penalización monetaria y que la IA no es muy confiable en este tipo de preguntas, la mayoría aún elige confiar en la respuesta de la IA en lugar de en su propio juicio.

Lo más importante es la precisión.

Sin IA, la tasa de precisión era aproximadamente del 28%; con IA, la tasa de precisión bajó al 10%.

Esto demuestra que una parte de la gente, aunque sabe que la IA tiene ilusiones, aún adopta las respuestas proporcionadas por la IA.

Después de introducir el sistema de recompensas y penalizaciones monetarias, la precisión ha mejorado:

Sin IA: del 28% al 33%; con IA: del 10% al 17%.

Aunque la tasa de precisión del grupo con IA sigue siendo claramente inferior a la del grupo sin IA, esta regla no es totalmente ineficaz: al menos reduce ligeramente la cantidad de veces que las personas recurren a la IA:

Los datos muestran que, bajo condiciones de recompensa, el número promedio de veces que los participantes buscaron consejos en la IA disminuyó de 5.44 a 4.93.

Es decir, el dinero puede hacer que las personas confíen un poco menos en la IA y la utilicen con menos frecuencia, pero no puede liberarlas por completo de la influencia de los consejos erróneos de la IA, y es difícil volver a llevar a las personas a un estado de juicio cauteloso.

Lo más reflexivo es la confianza exagerada de las personas cuando las respuestas de la IA son incorrectas:

Sin IA ni reglas de recompensa o penalización monetaria, la confianza promedio de los participantes fue del 29.6%.

Después de la introducción de la IA, la confianza de los participantes aumentó directamente al 75,9%; además, en condiciones con reglas de recompensas y penalizaciones monetarias, la confianza del grupo de IA también fue del 73,5%.

Para ello, la síntesis en el artículo es muy directa: la IA hace que las personas se sientan más seguras, pero no necesariamente más precisas.

La IA se está integrando en la vida cotidiana a una velocidad sin precedentes, y un cambio evidente es que muchas recomendaciones de IA ya no son algo que nosotros preguntamos activamente, sino que la IA las ofrece por sí misma.

El escenario más típico es trending en redes sociales.

Antes, al hacer clic en un tema, tenías que recorrer manualmente los comentarios, los informes de los medios y las respuestas de los involucrados, intentando armar la línea de tiempo mientras te entretenías con algunos chismes desviados.

Ahora es diferente; apenas entras, el resumen generado por IA aparece en la posición más destacada.

Se te han organizado todos los detalles: qué sucedió, quién dijo qué, cuáles son los puntos de controversia y cómo ha avanzado la situación, además de incluir enlaces a las fuentes de noticias.

Realmente es más fácil, pero también un poco sutil...

Cuanto más claramente organice la información, más corto será nuestro proceso de explorar el origen y el desarrollo de los hechos; parece que también se ha comprimido el placer de antes, de buscar por todas partes, juzgar por cuenta propia y descubrir casualmente detalles inesperados.

Cuando escribes, aún no has tocado dos líneas de texto y ya aparecen las frases completadas por la IA o las sugerencias detrás del cursor.

Entonces, el Estudio 4 realizó un diseño más cercano a la realidad: en lugar de permitir que los participantes elijan si preguntarle a la IA, se mostraban automáticamente las sugerencias de la IA junto a las preguntas.

En esta ronda participaron 853 personas, y los resultados del experimento son básicamente los mismos que los anteriores.

Sin reglas de recompensa o penalización monetaria, la aparición automática de la IA reduce el porcentaje de "no sé" del 35% al 1%; con reglas, disminuye del 39% al 7%.

La precisión también sigue afectada: sin IA, la precisión era de aproximadamente el 27%; con IA y sin incentivos, la precisión fue solo del 7%.

Con IA y el incentivo añadido, la precisión aumentó al 14%.

Esto indica que, incluso si las personas no solicitan activamente la ayuda de la IA, sino que simplemente ven sugerencias de IA de forma pasiva, también se ven fuertemente influenciadas.

Esta es una señal que debe ser vigilada: la IA está reconfigurando silenciosamente nuestros hábitos de juicio.

Ya no es solo una herramienta que responde cuando tú abres el chat, sino que se ha convertido en la "respuesta estándar" que el sistema te impone por defecto.

• Puede aparecer en la parte superior de la página de búsqueda.
• Aparece en el borrador del correo.
• Aparece en la barra lateral del documento.
• Aparece en software de aprendizaje, sistemas de oficina y extensiones de navegador.

Una vez que la respuesta está por defecto ante nuestros ojos, el proceso de juicio humano ya ha sido reescrito; pero lo más aterrador es que nos hemos acostumbrado a ello.

En el artículo se utilizó una palabra: epistemia (inercia cognitiva)

Se puede entender que las personas aceptan la aparente credibilidad de las respuestas de IA debido a su fluidez, completitud y coherencia, en lugar de verificarlas más a fondo.

Los modelos de lenguaje grande tienen una característica fundamental: siempre deben generar algo. Frente a preguntas que no conocen, rara vez se detienen realmente.

Puede sonar muy real. Pero si realmente elegimos delegar la decisión a este tipo de sistema, podríamos heredar su hábito de "no detenerse".

Una explicación proporcionada en el artículo es que "las respuestas fluidas generadas por la IA reducen el umbral para que los humanos decidan 'Sé lo suficiente como para responder'".

Originalmente podrías haber pensado: “No sé esta pregunta, no estoy seguro, déjalo… necesito entenderlo bien para responder.”

Pero después de que la IA te dé una frase que parece muy segura, la barrera psicológica se convierte en "si ella lo dice así, también puedo responder".

Por lo tanto, "no lo sé" y "el proceso de búsqueda" se omitieron y se reemplazaron por una "respuesta estándar pero incorrecta", y esta respuesta errónea te otorgó un nivel de confianza alto que solo deberías haber obtenido a través de una búsqueda y verificación repetidas.

Incluso si responder mal implica una multa, las personas solo se vuelven ligeramente más cautelosas y no pueden eliminar por completo el hábito de confiar demasiado en la IA, terminando así siendo desviadas de manera espectacular.

Lo que realmente nos recuerda este estudio no es que "la IA alucine", algo que ya no es novedad; sino un nuevo cambio que merece atención: la IA está cambiando la forma en que los humanos manejan la incertidumbre.

En el pasado, las personas frente a un problema desconocido podrían tener tres opciones:

1. Si sabes, responde.

2. Si no sabes, busca.

3. Si no estás seguro, no respondas y no hagas juicios.

Pero después de incorporar la IA, el proceso se acortó.

1. La IA da la respuesta.

2. El usuario acepta la respuesta.

El paso más importante, que es "¿Realmente sé yo?", se omitió sin darse cuenta.

Por eso los autores del artículo enfatizan que su estudio no se centra en "qué respondió la IA", sino en "cómo la IA facilita que las personas decidan 'puedo responder'".

Esto va un paso más allá que un simple error, ya que erosionará nuestra metacognición, ese "alerta interna" que nos permite monitorear los límites de nuestro conocimiento, algo muy valioso.

Cuando este alarma falla, perdemos el instinto para distinguir entre "conocimiento verdadero" y "suposiciones aparentemente razonables".

En ese momento, aún podríamos obtener respuestas de manera eficiente mediante IA, pero ya no podríamos determinar si esas respuestas realmente nos pertenecen o si realmente merecen confianza.

Al mismo tiempo, lo que se desviará por la IA ya no será un juicio específico, sino la base de nosotros como pensadores independientes.

This loss is immeasurable.

Uno de los autores del artículo, Valerio Capraro, dijo en una entrevista: “Estoy muy preocupado por los niños, porque los adultos ya han aprendido a pensar críticamente. Pero para los niños que nacen con estos sistemas, el riesgo es que ni siquiera aprendan habilidades críticas básicas.”

Detrás de este comentario se esconde una preocupación más profunda: que los adultos actuales, al menos, vivieron en un mundo sin IA.

Por lo tanto, tener la oportunidad de aprender primero algunas habilidades básicas de juicio a través de motores de búsqueda, libros, clases, discusiones y ensayo y error, antes de comenzar a usar la IA, puede ayudar a desarrollar la sensación de "no estoy seguro".

Pero los niños de hoy pueden crecer desde el nacimiento junto con estas IA.

Pueden consultar a la IA en cualquier momento para hacer tareas, buscar información, escribir artículos o comprender conceptos.

Si desde el principio se acostumbra a recibir directamente las respuestas en lugar de formar primero uno propio juicio y luego verificar la respuesta, el riesgo no es solo equivocarse en una pregunta, sino que podrían no tener la oportunidad de desarrollar la capacidad más básica de pensamiento crítico.

Para Capraro, resolver este problema no puede depender solo de que las empresas de modelos arreglen errores, sino que debe abordarse desde la alfabetización en IA y las políticas educativas.

Las empresas de modelos deben mejorar, por ejemplo, expresando mejor la incertidumbre, reduciendo alucinaciones y alertando a los usuarios cuando la evidencia sea insuficiente.

Pero al mismo tiempo, Capraro también cree que no se puede depositar toda la esperanza en las empresas de modelos.

Una solución más prometedora y a largo plazo es la educación.

Especialmente la educación infantil.

Para los niños de hoy, es muy importante y necesario practicar el proceso de “No lo sé, pero voy a averiguarlo” y fomentar este hábito.

Al final del experimento, los investigadores también reconocieron las limitaciones: el experimento solo utilizó preguntas sobre detalles de películas, y aún se debe verificar si es aplicable a otros campos; el monto del incentivo fue pequeño, y no está claro si mayores intereses podrían corregir aún más el comportamiento.

Pero al menos los datos existentes ya han dado una señal clara: las personas dicen menos "no sé", dan más respuestas, aciertan menos, pero están más seguras.

Este podría ser el riesgo más sutil de la era de la IA.

La IA no solo te engañó, sino que también te hizo más difícil darte cuenta de que en realidad no lo sabes.

El juicio final de este estudio es moderado, pero también pesado: "A medida que las respuestas generadas por IA se vuelven omnipresentes y a menudo llegan sin ser solicitadas, nuestro estudio sugiere que la capacidad humana de reconocer con sinceridad 'no lo sé' durante la interacción con IA podría convertirse en uno de los primeros sacrificios en la interacción humano-máquina."

A medida que los sistemas de IA se vuelven cada vez más comunes, la capacidad de los humanos para mantenerse firmes no dependerá en última instancia de hacer que la IA sea más precisa, sino de nuestra capacidad para conservar la autoconciencia: reconocer claramente los límites de nuestro propio conocimiento y actuar con prudencia en consecuencia.

Esto no significa que la IA no se pueda usar; todo lo contrario, la IA ciertamente puede ser una poderosa herramienta de apoyo;

Pero con la condición de que debe ayudar a las personas a pensar, no a saltarse el pensamiento; debemos mantener firmemente nuestro límite de juicio cauteloso.

Una forma más saludable de utilizar la IA es primero juzgar por uno mismo, aprender activamente, y solo recurrir a la IA cuando realmente no se entienda, manteniendo siempre el instinto de cuestionamiento durante el proceso de consulta (incluyendo cuestionar a la IA y autoexaminarse).

Por ejemplo:

Could it be wrong?

¿Dónde está la evidencia?

¿El enlace de referencia muestra 404 o está en blanco?

¿He asumido que es correcto solo porque suena demasiado lógico?

Para los productos de IA y sus desarrolladores, esto también es una advertencia: "La madurez tecnológica finalmente se reflejará en el respeto por lo desconocido."

La dirección futura de la evolución de la IA podría no solo consistir en hacer que la IA responda más rápido y más como un humano, sino también en enseñarle a la IA a revelar con honestidad su incertidumbre;

Cuando la evidencia sea insuficiente, el problema dependa de detalles visuales, información en tiempo real o juicio profesional, la IA debe informar activamente al usuario de que la respuesta no es confiable, en lugar de fingir saberlo todo.

Y para personas comunes como tú y yo, arrastradas por la ola del tiempo hacia adelante, la habilidad más valiosa tal vez sea simplemente volver a practicar decir: "No lo sé."

En esta era en la que la IA siempre puede dar una respuesta, decir "No lo sé" no es una confesión de ignorancia, sino una prueba de que aún posees juicio.

Enlace de referencia:

[1]https://www.theregister.com/ai-and-ml/2026/07/19/using-ai-makes-people-less-likely-to-admit-they-dont-know-something/5274567

[2]https://arxiv.org/pdf/2607.13562

Este artículo proviene del canal de WeChat "Quantum Bit", autor: Wen Ting