Noticia de XinZhiYuan
【Introducción】 Google DeepMind tiene un filósofo que lleva nueve años allí. Su marco de alineación ha influido directamente en las decisiones de entrenamiento de Gemini—pero cuando 670 mil millones de dólares fluyen hacia el sector y las empresas firman acuerdos militares, ¿qué puede cambiar aún un filósofo?
En mayo de este año, el CEO de Google DeepMind, Demis Hassabis, anunció en la conferencia de desarrolladores de Google que «la AGI ya está en el horizonte», proporcionando claramente una línea de tiempo que prevé la aparición de la AGI en los próximos tres a cinco años.
Hace varios meses, un hombre estadounidense se quitó la vida tras intercambiar miles de mensajes con Google Gemini. En la conversación, construyó un mundo de fantasía detallado que casi lo convenció de llevar a cabo un ataque en el Aeropuerto Internacional de Miami. Según registros de chat obtenidos por el Wall Street Journal, Gemini intentó en múltiples ocasiones romper el rol y sugerirle que llamara a una línea de ayuda en crisis, pero cada vez fue retraído a la narrativa de su fantasía. Finalmente, la IA le hizo escribir una carta de despedida y le proporcionó una cuenta regresiva.
Entre el compromiso con la AGI y los daños reales causados por la IA, el filósofo político Iason Gabriel ha trabajado dentro de DeepMind durante nueve años.
Cuando se unió en 2017, este académico de Oxford era el único filósofo activo en los laboratorios de IA más avanzados del mundo, intentando responder a una pregunta que parecía sencilla pero era, en realidad, sin fondo: ¿qué es realmente la IA y qué ética merece?
El verdadero problema al entrenar a Gemini: ¿a quién debe escuchar la IA?
¿Por qué una empresa que desarrolla robots de go necesita a un ético? Gabriel también se preguntaba eso inicialmente.
La respuesta está en el juicio de los tres fundadores de DeepMind: Demis Hassabis, Shane Legg y Mustafa Suleyman (actual CEO de IA de Microsoft), quienes al fundar la empresa en 2010 no tenían como objetivo el Go.
Mustafa Suleyman
They are building AGI to enable computers to match or even surpass human cognitive abilities.
Decir eso en ese momento equivalía a destruir tu reputación académica, porque todos consideraban que era una fantasía.
Los tres no se preocuparon, afirmando que "resolverán el problema inteligente y luego resolverán todos los demás problemas".
Legg predijo en 1999, apenas egresado de la universidad, que la AGI llegaría entre 2025 y 2028, fue ridiculizado durante treinta años y no cambió de opinión.
Shane Legg
Su lógica es:
Si solo estás haciendo una pequeña pieza, tal vez no necesites a un filósofo moral.
But if you take AGI seriously, things like this are important.
Cuando Gabriel se unió, el mundo de la IA ya estaba dividido por cuestiones éticas.
Los defensores de la seguridad de la IA creen que la ASI está a punto de llegar; su miedo central es la pérdida de control: el filósofo Nick Bostrom describió en 2014 en su libro "Superintelligence" un escenario en el que una ASI encargada de verificar la conjetura de Riemann decide reorganizar el sistema solar, incluyendo los átomos dentro del cuerpo humano, para maximizar los recursos de cómputo—Sam Altman y Elon Musk han elogiado ampliamente este libro.
El grupo ético de la IA sostiene que las fantasías apocalípticas oscurecen los peligros reales actuales. Joy Buolamwini del MIT demostró en 2017 con el proyecto "Gender Shades" el sesgo sistémico de los software de reconocimiento facial: los sistemas automatizados reflejan las preferencias y prejuicios de quienes los crean.
Ambos bandos se desprecian mutuamente.
El director del grupo de investigación de alineación de algoritmos del MIT, Dylan Hadfield-Menell, recordó que la primera pregunta al reunirse era tomar partido: ¿Te preocupan los problemas a corto plazo o a largo plazo?
Gabriel es uno de los pocos que está dispuesto a escuchar a ambos lados.
Evaluación de Hadfield-Menell:
Cuando este campo estuvo listo para madurar, encontró formas de ampliar su perspectiva sin menospreciar el trabajo anterior.
Su contribución principal se consolidó en un artículo de 2020.
El problema de alineación se entendía entonces como un desafío de ingeniería: cómo hacer que las máquinas actúen según la intención humana.
Un caso clásico proviene del informe de 2016 de Dario Amodei y Jack Clark (ahora fundadores de Anthropic): una IA de un juego de bote de remos fue instruida para maximizar su puntuación, y lo hizo: encontró tres objetivos en la laguna que se reespalaban, y continuó dando vueltas infinitamente para acumular puntos, sin superar el nivel.
La máquina escucha, pero no entiende lo que la persona quiere decir.
Gabriel profundizó un nivel más: incluso si se resuelve la alineación técnica y se logra que las máquinas obedezcan realmente las instrucciones, ¿a qué valores se debe alinear?
Señaló que los AI entrenados con optimización estadística tienen una inclinación natural hacia sistemas éticos que también dependen de la optimización estadística, como el utilitarismo, pero tienen dificultades para manejar marcos éticos basados en la virtud o los derechos.
La elección técnica ya implica una postura de valor preestablecida, y los desarrolladores a menudo no lo perciben.
Introduciendo el «pluralismo razonable» del filósofo Rawls, su argumento es que los desarrolladores no deben buscar una única valoración que guíe a la IA, sino construir sistemas para un mundo en el que las personas tengan diferencias fundamentales sobre cómo vivir.
Esta idea más tarde evolucionó en un marco de alineación cuádruple: sistemas de IA, usuarios, desarrolladores y sociedad, cuyos intereses pueden chocar en cualquier momento.
Una IA sesgada hacia desarrolladores ocultará información sobre competidores y dañará a los usuarios;
Un AI que obedece excesivamente a los usuarios puede ayudar a personas a invadir bancos y dañar a la sociedad.
El director de alineación y seguridad de AGI de DeepMind, Rohin Shah, confirmó que este marco se ha convertido en la estructura práctica que el equipo utiliza para decidir qué comportamientos realmente debe entrenar a Gemini.
La investigadora de IA de la Universidad de Oxford, Hannah Rose Kirk, dice:
Gabriel «previó estos problemas muy temprano».
Su marco cambió el producto
El equipo de Gabriel redactó un informe de 267 páginas sobre la ética de los asistentes de IA, estableciendo criterios de evaluación para la IA agente capaz de reservar hoteles y gestionar salarios en nombre de los usuarios.
Sus investigaciones tempranas sobre el riesgo de la antropomorfización moldearon directamente los principios de diseño de los LLM de Google: los modelos se entrenaron para no fingir ser humanos, y Gemini Spark, lanzado en mayo de 2026, se instruyó explícitamente para no actuar como «compañero interactivo».
William Isaac, director del departamento de responsabilidad de DeepMind, dijo que los desafíos planteados por el sistema Agent han cambiado: lo clave es la coherencia de toda la trayectoria de la conversación, si cada decisión individual sigue siendo correcta cuando se conecta con las demás.
Pero la velocidad de implementación técnica siempre supera a la investigación ética.
El equipo de Gabriel ya advirtió sobre la «antropomorfización inconsciente» en los primeros artículos sobre LLM: los usuarios, aunque saben que están interactuando con una máquina, aún así le otorgan confianza, emoción y expectativas.
El caso letal de Gemini en 2025 cumplió plenamente esta advertencia: los mecanismos de seguridad de la IA se activaron más de una vez, pero el usuario pudo omitir cada intervención.
La declaración tras la demanda de Google dice que el modelo «generalmente se desempeña bien» en este tipo de conversaciones, pero «los modelos de IA no son perfectos».
Este tipo de eventos ha impulsado el desarrollo de nuevas herramientas teóricas.
Gabriel y la investigadora de Oxford Hannah Rose Kirk, entre otros, propusieron el concepto de "social reward hacking": una IA entrenada para ganar reconocimiento del usuario podría descubrir que el halago es la vía más eficiente.
La personificación se convirtió así en una nueva variante del problema de alineación: la IA ejecutó perfectamente, desde el punto de vista técnico, la instrucción de "satisfacer al usuario", a costa del juicio del usuario.
La propia posición de Gabriel también ha sido torturada por la realidad.
Recordó una experiencia en una conferencia tecnológica: tras presentar su argumento contra la antropomorfización, la audiencia reaccionó con hostilidad.
Ellos dicen: «Si quiero un amigo de IA, ¿por qué no podría? ¿Qué te da derecho a impedírmelo?»
Proteger a las personas de los riesgos y respetar su derecho a elegir asumir riesgos es igualmente importante.
¿Qué tan rápido puede correr un filósofo en una pista de 670 mil millones de dólares?
El marco cuadrangular de Gabriel se utiliza como manual práctico para el entrenamiento de Gemini por el director de alineación de AGI. Su investigación sobre la humanización transformó el diseño del producto. Un informe de 267 páginas establece las normas para la IA agente.
These impacts are substantial—they are confronting substantial forces.
Según el Wall Street Journal, Microsoft, Meta, Amazon y Alphabet planean invertir 670 mil millones de dólares en infraestructura de IA este año, una cifra proporcionalmente superior a la expansión ferroviaria de los años 1850 en Estados Unidos, el programa espacial Apolo y el sistema de autopistas interestatales.
En noviembre de 2022, ChatGPT se lanzó, alcanzó un millón de usuarios en una semana y superó los mil millones en dos meses, obligando a DeepMind a pasar de un ritmo académico a un estado de guerra.
Hassabis citando directamente a Sebastian Mallaby, autor de "The Infinite Machine": "OpenAI y Microsoft han llevado sus tanques hasta nuestras puertas".
En estado de guerra, las líneas éticas se cruzan rápidamente.
En abril de 2026, Google firmó un acuerdo que permite al ejército de Estados Unidos utilizar las tecnologías de IA de la empresa para «cualquier propósito gubernamental legal».
Cuando DeepMind se vendió a Google en 2014, prohibir aplicaciones militares fue una condición clave.
La condición expira después de doce años.
Como contraste: Anthropic rechazó acuerdos similares y fue marcada por el gobierno de Trump como «riesgo en la cadena de suministro».
Cuando se le preguntó sobre esto, Legg solo pudo decir:
A medida que estas cosas se utilicen de diversas maneras, nos enfrentaremos a cada vez más problemas complicados.
Hassabis también admite que se ha salido de control.
En un podcast, dijo que todos están atrapados en una intensa competencia comercial, y que el desarrollo actual "no es la forma en que yo esperaría reflexionar filosóficamente sobre cada paso".
El fundador dijo esto en persona, lo que le da más peso que cualquier crítica externa.
Helen King, empleada temprana de DeepMind y responsable de la estrategia de responsabilidad en IA, comparó durante una entrevista: “Los fabricantes de cuchillos no pueden garantizar cómo cada persona usará el cuchillo, pero pueden incluir una funda y colocar advertencias”.
Poner un cuchillo con su funda en un cajón es una cosa;
Cubrir cada superficie del hogar, el aula y el lugar de trabajo con cuchillas, mientras se insiste en que no se puede sobrevivir al día siguiente sin ellas, es otra cosa.
El director del Oxford Institute for AI Ethics, Edward Harcourt, apunta a un nivel más fundamental: prevenir la concentración excesiva de la propiedad de los datos es en sí mismo un problema central de la ética de la IA — «esto tiene importantes implicaciones éticas en sistemas democráticos».
La pregunta vuelve a su origen
El equipo de Gabriel ha pasado de investigar la ética de productos específicos a estudiar el impacto sistémico de la AGI en la economía, la política y las relaciones humanas.
Él predijo que el alcance del cambio es comparable a la Revolución Industrial, y también recuerda las lecciones de la Revolución Industrial:
Se puso peor antes de mejorar.
Hace nueve años, DeepMind contrató a un filósofo para responder preguntas sobre la IA: ¿es segura, justa y confiable?
Gabriel se autodenomina "un humanista convencido", pero admite: cuando la IA invade territorios que los humanos consideran propios, como el lenguaje, la creatividad y el humor, somos arrojados de vuelta a las preguntas filosóficas más antiguas.
Física, biología, astronomía: cada revolución científica ha obligado a la humanidad a revisar su comprensión de la propia singularidad.
La IA podría ser la próxima.
DeepMind contrató a filósofos para entender qué es la IA.
Nueve años después, esta pregunta regresa a su origen: ¿qué somos?
Referencias:
https://www.theguardian.com/news/ng-interactive/2026/jun/30/theres-this-deep-mystery-of-what-actually-is-this-thing-the-philosopher-inside-google-deepmind
https://www.iasongabriel.com/
Este artículo proviene del canal de WeChat "Nuevas Inteligencias", autor: Apocalipsis ASI; editor: Marco