El artículo de Timnit Gebru de 2020 predijo los principales riesgos de la IA ahora realizados

Si retrocedemos en el tiempo hasta 2020, la mayoría de los profesionales de IA discutían cuán poderosa era realmente GPT-3.

En ese entonces, la IA generativa aún no era el foco global, ChatGPT no saldría hasta dos años después, y los modelos grandes no habían generado la ola de inversión que hoy recorre el mundo. Pero en ese mismo año, un investigador de IA de primer nivel de Google entró en un fuerte conflicto con la empresa debido a un artículo aún no publicado y finalmente perdió su trabajo.

En ese momento, mucha gente pensó que se trataba simplemente de otra controversia de Silicon Valley sobre gestión laboral, publicaciones académicas y cultura empresarial; pero ahora, al mirar hacia atrás, se dieron cuenta de que las advertencias en ese artículo se cumplieron casi por completo en el mundo real.

El investigador despedido es precisamente uno de los figuras más influyentes en el campo de la ética de la IA: Timnit Gebru.

En diciembre de 2020, Timnit Gebru anunció en las redes sociales que había sido despedida por Google.

El mensaje se propagó rápidamente por todo el mundo de la investigación en IA. En ese momento, Gebru no era una investigadora común, sino copresidenta del equipo de IA ética de Google y una de las académicas más reconocidas a nivel mundial en el campo de la equidad en IA y el sesgo algorítmico.

Gebru, nacida en Etiopía, ha estado atenta durante mucho tiempo a los problemas de sesgo racial, discriminación de género y equidad social en la IA. Antes de unirse a Google, realizó investigaciones en la Universidad de Stanford. En 2018, participó en la publicación de un estudio sobre sesgo algorítmico que muchas personas consideran un punto de inflexión importante en la investigación sobre equidad en la IA. Ese mismo año, Google la contrató y destacó públicamente el compromiso de la empresa con la “IA responsable (Responsible AI)”.

Sin embargo, solo dos años después, ambas partes se separaron.

En ese momento, Google afirmó públicamente que Gebru renunció voluntariamente, pero Gebru ofreció una versión completamente diferente: dijo que recibió un correo electrónico de la empresa mientras estaba de vacaciones, informándole que su salida era inmediata y que se le habían desactivado simultáneamente todos los permisos del sistema interno y el acceso a su correo electrónico.

En su opinión, se trataba de un despido sin duda alguna.

Luego, más de 4,000 empleados de Google y profesionales del sector firmaron una carta abierta cuestionando la forma en que la empresa manejó el caso y exigiendo la reincorporación de Gebru—todo desencadenado por un artículo académico de solo 14 páginas.

El artículo se titula «On the Dangers of Stochastic Parrots» («Los peligros de los loros estocásticos»), y sus autores incluyen a Timnit Gebru, la profesora de lingüística de la Universidad de Washington Emily Bender, y otros dos investigadores; hasta ahora ha sido citado más de 14.000 veces.

Posteriormente, el nombre "loro aleatorio" también se volvió muy conocido. (Enlace al artículo: https://s10251.pcdn.co/pdf/2021-bender-parrots.pdf)

El artículo señala que los modelos de lenguaje grandes replican patrones lingüísticos sobre la base de patrones estadísticos: pueden generar texto fluido, natural e incluso lógico, pero no comprenden realmente el significado del lenguaje; es como un loro que aprende a imitar el habla humana, aparentemente inteligente, pero cuya imitación se basa únicamente en una enorme cantidad de texto de internet. Y internet mismo está lleno de sesgos, discriminación y contenido de odio. Por lo tanto, es muy probable que los grandes modelos aprendan estos problemas y los amplifiquen aún más al generar contenido.

Hay que tener en cuenta que era el año 2020, cuando GPT-3 acababa de lanzarse, ChatGPT aún no existía y la ola de modelos grandes estaba muy lejos de llegar; este artículo ya anticipaba uno de los problemas más complicados de la industria hoy en día.

Después de que el artículo se presentó a una conferencia de ética de IA de primer nivel, la dirección de Google solicitó que se retirara el artículo o que se eliminara la afiliación de los investigadores de Google. Gebru rechazó esta solicitud y pidió a la empresa que explicara las razones específicas y que se iniciara una discusión adicional.

Al mismo tiempo, también envió un correo electrónico de tono enfático a un grupo interno de empleados de Google.

En el correo, Gebru criticó a Google por la falta de acciones concretas para impulsar la contratación de minorías y abordar las desigualdades internas. Escribió: “Cuando comienzas a defender a los grupos vulnerables, tu situación se vuelve cada vez más difícil. Haces sentir incómodos a otros miembros de la dirección”. También indicó que, si la empresa nunca logra explicar por qué retiró el artículo, elegirá renunciar en el momento adecuado.

El curso de los eventos superó con creces sus expectativas. Gebru indicó que Google respondió posteriormente que no cumpliría con sus solicitudes y aceptó directamente su "dimisión", cancelando inmediatamente todos sus permisos de acceso.

At the time, the incident quickly became one of the most controversial topics in the global AI community.

Lo que ha mantenido este evento en discusión hasta hoy no es el despido en sí, sino el contenido del artículo: porque hoy, al mirar hacia atrás, casi todas las preocupaciones planteadas en él se han convertido en problemas reales que la industria de la IA está enfrentando.

(1) Primera alerta: el modelo puede generar información falsa

En 2020, GPT-3 acaba de lanzarse. En ese momento, la gente se maravillaba con la capacidad del modelo para generar texto, pero muy pocos discutían seriamente su confiabilidad.

Gebru y Bender señalan que a medida que los modelos se vuelven cada vez más grandes, es cada vez más fácil confundir una expresión fluida con una comprensión real. Los modelos parecen estar pensando, pero en realidad solo predicen la siguiente palabra más probable; por lo tanto, tarde o temprano generarán información que parece razonable pero es completamente errónea.

Hoy en día, este problema tiene un nombre familiar para todos: ilusión de IA (Hallucination). Ya sea ChatGPT, Gemini, Claude u otros modelos avanzados, el problema de las ilusiones aún no se ha resuelto por completo.

En cierto sentido, el artículo ya predijo con precisión el fenómeno del “alucinación” antes de que se convirtiera en un término popular en la industria.

(2) Segunda alerta: el sesgo no desaparecerá, se amplificará

El artículo también señala que Internet en sí mismo no es una fuente de datos neutra, y que los datos de entrenamiento contienen inherentemente diversos sesgos raciales, de género, culturales y geográficos. El modelo no solo aprenderá estos sesgos, sino que también podría reforzarlos aún más debido a sus mecanismos de optimización.

Posteriormente, diversas cuestiones prácticas validaron esta preocupación:

Amazon intentó utilizar IA para filtrar currículums de candidatos, pero el sistema reducía automáticamente la puntuación de los currículums que contenían palabras clave como "women".

Se descubrió que el sistema de evaluación de riesgos médicos utilizado por varios hospitales grandes en Estados Unidos ha subestimado durante mucho tiempo las necesidades médicas de los pacientes negros.

La Apple Card también atrajo la atención regulatoria por otorgar límites de crédito significativamente más bajos a las mujeres que a los hombres.

Estos casos demuestran que los algoritmos no logran automáticamente la equidad; por el contrario, pueden solidificar de manera más sutil las desigualdades del mundo real.

(3) Tercera alerta: El consumo de energía de la IA se convertirá en un nuevo problema

En 2020, el costo de la capacidad de cómputo no recibía tanta atención como hoy, pero ese artículo ya comenzaba a discutir el impacto ambiental del entrenamiento de modelos extremadamente grandes. Según los investigadores, las emisiones de carbono generadas al entrenar un modelo de lenguaje grande equivalen a la suma total de las emisiones de cinco automóviles durante todo su ciclo de vida —en ese momento, esta afirmación fue considerada demasiado pesimista por muchas personas.

Sin embargo, a medida que la infraestructura básica de IA entra en una fase de carrera armamentista, surgen problemas rápidamente: según los datos publicados por Google, las emisiones de gases de efecto invernadero de la empresa en 2024 aumentaron un 48% en comparación con 2019; Microsoft experimentó un aumento aproximado del 29% durante el mismo período. Ambas empresas han indicado claramente que los centros de datos de IA y la infraestructura de cómputo son una causa importante.

Es algo irónico que estas grandes tecnológicas estuvieran promocionando hace unos años sus objetivos de neutralidad de carbono.

(4) Cuarta alerta: Nadie sabe realmente qué hay en los datos de entrenamiento

Para muchas personas, los datos de entrenamiento parecen ser simplemente un problema de ingeniería. Pero Gebru cree que, a medida que el tamaño de los datos aumenta, auditar por completo los datos de entrenamiento se volverá casi imposible.

Su punto de vista se volvió a confirmar: en 2023, los investigadores descubrieron que el conjunto de datos LAION-5B, ampliamente utilizado para entrenar modelos de generación de imágenes, contenía una gran cantidad de imágenes de abuso infantil, y varios modelos principales, incluyendo Stable Diffusion, habían utilizado este conjunto de datos.

Como era de esperar, muchos desarrolladores no sabían previamente de la existencia de estos contenidos. Es decir, incluso los propios desarrolladores del modelo no necesariamente comprenden realmente qué es lo que el modelo “ingiere”—y precisamente este es uno de los primeros problemas planteados en el artículo.

(5) Quinta alerta: Internet será gradualmente ocupado por contenido de IA

Para Google, esta podría ser la parte más sensible del artículo completo. Gebru y Bender creen que el desarrollo de modelos grandes terminará concentrando el poder sobre el lenguaje y la cultura en manos de unas pocas gigantes tecnológicas. La razón es sencilla: entrenar modelos extremadamente grandes requiere una cantidad masiva de fondos, capacidad de cómputo y recursos de datos, y solo unas pocas empresas tienen realmente la capacidad de participar en la competencia.

Con el tiempo, la voz dominante en internet evolucionará gradualmente hacia: promedios estadísticos entrenados por unas pocas empresas, que luego se difundirán por todo el mundo bajo la identidad de “asistentes neutrales”. Mientras tanto, los idiomas y culturas con menor representación en los datos de entrenamiento serán aún más marginados.

Más grave aún, cuando el contenido generado por IA vuelve a Internet y se convierte en los datos de entrenamiento de la próxima ronda, el problema se refuerza continuamente a sí mismo: esto es precisamente lo que los investigadores actuales denominan “colapso del modelo (Model Collapse)”.

Un estudio de 2024 descubrió que aproximadamente el 57% del nuevo contenido en internet en inglés ya es generado por IA o asistido por IA; mientras que estudios sobre lenguas con recursos limitados revelaron que, debido a que los datos de entrenamiento provienen cada vez más de contenido generado por IA, la calidad de la traducción en algunos idiomas ha experimentado una clara degradación.

En otras palabras, este artículo no solo predijo el fenómeno de "colapso del modelo", sino que también identificó su mecanismo de formación antes de que el concepto surgiera oficialmente.

Después del evento de ese año, muchas personas describieron posteriormente a Gebru como "anti-AI". En realidad, no es así; nunca ha abogado por detener el desarrollo de la IA. Desde el principio, ella cuestionó algo diferente:

¿Quién decide realmente la dirección del desarrollo de la IA?

En su opinión, los investigadores y la dirección que impulsan el desarrollo de modelos grandes suelen tener antecedentes similares, servir a objetivos comerciales parecidos y estar motivados por las mismas presiones competitivas. Bajo este sistema de incentivos, lanzar productos más rápido, expandir la base de usuarios más rápidamente y ganar la competencia del mercado más rápido suelen tener prioridad más alta que los problemas de seguridad, equidad y ética.

Y todos los que intenten ralentizar este proceso podrían ser vistos como obstáculos. De manera irónica, Gebru planteó esta idea precisamente dentro de Google, y Google le dio el comentario más dramático posible al despedirla.

Más trágico aún, poco después del evento, Margaret Mitchell, copresidenta del equipo de IA ética, también fue despedida: en solo 90 días, el antes orgulloso equipo de IA ética de Google prácticamente se disolvió.

Tras dejar Google, en 2021 Gebru fundó el Instituto de Investigación de IA Distribuida (DAIR, Distributed AI Research Institute). A diferencia de las grandes empresas tecnológicas, esta institución busca realizar investigación en IA más allá de los intereses comerciales, con un objetivo directo: estudiar problemas que los gigantes tecnológicos probablemente no deseen abordar. En los últimos años, DAIR ha mantenido su enfoque en temas como el origen de los datos, la equidad algorítmica, la diversidad lingüística y la concentración de poder en la industria de la IA.

Con el auge explosivo de la IA generativa, cada vez más investigadores también han comenzado a prestar atención nuevamente al artículo "El peligro de los loros aleatorios": porque han descubierto que los problemas considerados en su momento como una preocupación excesiva ahora se han convertido en una realidad discutida diariamente en la industria.

Seis años después, el exterior quizás nunca obtenga una respuesta que todos acepten sobre la controversia entre Timnit Gebru y Google.

Google considera que fue un proceso normal de revisión académica y renuncia; Gebru cree que fue sancionada por insistir en publicar sus investigaciones. Pero un punto se vuelve cada vez más difícil de negar:

El artículo que la llevó a dejar Google no perdió su significado al finalizar la controversia.

Por el contrario, los problemas que discute, como las ilusiones, los sesgos, la contaminación de datos, los costos ambientales, el colapso del modelo y la concentración de poder, hoy en día se han convertido en temas inevitables en toda la industria de la IA.

A veces, la historia ofrece una evaluación de manera inesperada.

En 2020, mucha gente pensó que Timnit Gebru era demasiado pesimista;

En 2026, la gente comenzó a darse cuenta de que tal vez ella simplemente había visto el problema antes que los demás.

Enlace de referencia: https://www.tumblr.com/dreaminginthedeepsouth/817865966907228160/darren-oconnor-timnit-gebru-was-fired-from

Este artículo proviene del canal oficial de WeChat "CSDN", recopilado por Zheng Liyuan