El informe del New York Times revela las dudas internas de OpenAI sobre la confiabilidad de Sam Altman

Artículo escrito por Xiao Bing, Shenchao TechFlow

En el otoño de 2023, el científico principal de OpenAI, Ilya Sutskever, se sentó frente a la computadora y completó un documento de 70 páginas.

Este documento se ha compilado a partir de registros de mensajes de Slack, archivos de comunicación de RR.HH. y actas de reuniones internas, con el único propósito de responder a una pregunta: ¿Se puede confiar en Sam Altman, la persona que dirige lo que podría ser la tecnología más peligrosa de la historia de la humanidad?

La respuesta de Sutskever, escrita en la primera línea de la primera página del archivo, con el título de la lista: "Sam muestra un patrón de comportamiento consistente..."

Primera: mentir.

Hoy, dos años y medio después, los periodistas de investigación Ronan Farrow y Andrew Marantz publicaron en The New Yorker una extensa investigación. Entrevistaron a más de 100 personas, obtuvieron memorandos internos nunca antes revelados y los más de 200 páginas de notas personales dejadas por Dario Amodei, fundador de Anthropic, durante su época en OpenAI. La historia que se desvela a partir de estos documentos es mucho más desagradable que la "lucha de poder" de 2023: cómo OpenAI pasó de ser una organización sin fines de lucro creada para la seguridad humana a convertirse poco a poco en una máquina comercial, donde casi cada medida de seguridad fue desmantelada por la misma persona.

La conclusión de Amodei en las notas es más directa: “El problema de OpenAI es Sam en persona.”

Para comprender la importancia de este informe, primero hay que explicar qué tan especial es la empresa OpenAI.

En 2015, Altman y un grupo de élites de Silicon Valley hicieron algo casi sin precedentes en la historia empresarial: utilizar una organización sin fines de lucro para desarrollar posiblemente la tecnología más poderosa de la historia humana. Las responsabilidades del consejo estaban claramente definidas: la seguridad tenía prioridad sobre el éxito de la empresa, e incluso sobre su supervivencia. En términos sencillos, si algún día la IA de OpenAI se volviera peligrosa, el consejo tenía la obligación de cerrar la empresa personalmente.

La arquitectura completa se basa en una suposición: la persona que controle la AGI debe ser extremadamente honesta.

¿Y si se apuesta mal?

La bomba central del informe es el documento de 70 páginas. Sutskever no juega a la política de oficina; es uno de los científicos de IA más destacados del mundo. Pero para 2023, estaba cada vez más convencido de una cosa: Altman estaba diciendo mentiras constantemente a los ejecutivos y a la junta directiva.

Un ejemplo concreto: en diciembre de 2022, Altman garantizó en una reunión de la junta que varias funciones del próximo GPT-4 habían pasado la revisión de seguridad. El miembro de la junta Toner solicitó ver los documentos de aprobación, y descubrió que dos de las funciones más controvertidas (ajuste personalizado por el usuario y despliegue de asistentes personales) no habían recibido aprobación alguna del panel de seguridad.

Cosas aún más extrañas ocurrieron en la India. Un empleado denunció a otro miembro de la junta sobre "esa infracción": Microsoft lanzó una versión preliminar de ChatGPT en la India sin completar las revisiones de seguridad necesarias.

Sutskever también anotó otro detalle en el memorándum: Altman le había dicho a la ex CTO Mira Murati que el proceso de aprobación de seguridad no era tan importante, ya que el asesor legal principal de la empresa lo había aprobado. Murati fue a confirmarlo con el asesor legal principal, quien respondió: "No sé de dónde Sam sacó esa impresión."

Los archivos de Sutskever parecen un escrito de acusación de un fiscal. Las más de 200 páginas de notas dejadas por Amodei se parecen más a un diario escrito por un testigo en la escena del crimen.

Durante los años en que Amodei fue responsable de seguridad en OpenAI, presenció cómo la empresa retrocedía paso a paso bajo presión comercial. En sus notas, registró un detalle clave del acuerdo de inversión de Microsoft en 2019: había incluido en los estatutos de OpenAI una cláusula de "fusión y asistencia", que decía que si otra empresa encontraba una ruta más segura hacia la AGI, OpenAI debería dejar de competir y ayudar a esa empresa. Era la garantía de seguridad que más valoraba en toda la transacción.

Cuando firmó el acuerdo rápidamente, Amodei descubrió algo: Microsoft obtuvo el derecho de veto sobre este término. ¿Qué significa eso? Incluso si algún día un competidor encontrara un mejor camino, Microsoft podría bloquear la obligación de asistencia de OpenAI con una sola frase. El término aún está en el papel, pero desde el día de la firma se convirtió en papel mojado.

Amodei posteriormente dejó OpenAI y fundó Anthropic. La competencia entre ambas empresas se basa en una divergencia fundamental sobre cómo debería desarrollarse la IA.

Hay un detalle en el informe que, al leerlo, te deja el cabello de punta: el equipo de "superalineación" de OpenAI.

A mediados de 2023, Altman envió un correo electrónico a un estudiante de doctorado en Berkeley que investigaba la "alineación engañosa" (cuando la IA se comporta bien en pruebas pero actúa de forma diferente una vez implementada), diciendo que le preocupaba mucho este problema y que consideraba establecer un premio global de investigación de mil millones de dólares. El estudiante se sintió inspirado, tomó una licencia de sus estudios y se unió a OpenAI.

Luego, Altman cambió de opinión: en lugar de otorgar premios externos, crearía un "equipo de superalineación" dentro de la empresa. La compañía anunció públicamente que asignaría el "20% de la capacidad de cómputo existente" a este equipo, con un valor potencial superior a 1.000 millones de dólares. El anuncio utilizó un lenguaje extremadamente serio, afirmando que si no se resuelve el problema de alineación, la AGI podría llevar a "la desposesión de la humanidad, e incluso a la extinción humana".

Jan Leike, quien fue nombrado para liderar este equipo, luego le dijo a los periodistas que este compromiso en sí mismo era una herramienta muy efectiva para retener talento.

¿Y la realidad? Cuatro personas que trabajaron en este equipo o tuvieron contacto cercano con él dicen que la potencia de cálculo asignada realmente solo representaba entre el 1% y el 2% del total de la empresa, y además era el hardware más antiguo. Posteriormente, el equipo fue disuelto sin completar su misión.

Cuando los periodistas pidieron entrevistar al personal de OpenAI encargado de la investigación sobre "seguridad existencial", la respuesta de relaciones públicas de la empresa fue cómica y triste: "Eso no es... algo que realmente exista."

Altman, por su parte, está tranquilo. Le dijo a los periodistas que su "intuición no coincide mucho con muchas cosas tradicionales de seguridad en IA", y que OpenAI seguirá haciendo "proyectos de seguridad, o al menos proyectos relacionados con la seguridad".

El informe de The New Yorker fue solo la mitad de las malas noticias de ese día. Ese mismo día, The Information reveló otra noticia impactante: la CFO de OpenAI, Sarah Friar, tuvo una seria divergencia con Altman.

Friar le dijo a sus colegas en privado que cree que OpenAI no está lista para salir a bolsa este año. Dos razones: la cantidad de trabajo procedural y organizativo por completar es demasiado grande, y el riesgo financiero derivado del compromiso de Altman de gastar 600 mil millones de dólares en capacidad de cómputo en cinco años es demasiado alto. Incluso duda de que el crecimiento de los ingresos de OpenAI pueda sostener esos compromisos.

Pero Altman quiere impulsar la OPI en el cuarto trimestre de este año.

Lo más absurdo es que Friar ya no informa directamente a Altman. A partir de agosto de 2025, ahora informa a Fidji Simo (CEO de Negocios de Aplicaciones de OpenAI). Y Simo acaba de tomarse una licencia por motivos de salud la semana pasada. Mira esta situación: una empresa que se prepara para una IPO, con diferencias fundamentales entre el CEO y el CFO, el CFO no informa al CEO, y el superior del CFO está de licencia.

Incluso los ejecutivos internos de Microsoft ya no pueden soportarlo, diciendo que Altman "distorsiona los hechos, incumple promesas y revoca constantemente acuerdos ya alcanzados". Un ejecutivo de Microsoft incluso dijo: "Creo que existe una probabilidad considerable de que termine siendo recordado como un estafador del nivel de Bernie Madoff o SBF".

Un exmiembro de la junta directiva de OpenAI describió a Altman ante los periodistas como poseedor de dos cualidades. Esta frase podría ser el retrato más contundente de la persona en todo el informe.

El director dijo que Altman posee una combinación extremadamente rara de cualidades: en cada interacción cara a cara, tiene un fuerte deseo de agradar y ser querido por la otra persona. Al mismo tiempo, muestra una indiferencia casi sociopática ante las consecuencias de engañar a otros.

Es muy raro que ambas cualidades se presenten simultáneamente en una persona. Pero para un vendedor, es el don más perfecto.

Un artículo incluye una metáfora acertada: Jobs era famoso por su "campo de distorsión de la realidad", que le permitía hacer que el mundo creyera en su visión. Pero incluso Jobs nunca le dijo a un cliente: "Si no compras mi reproductor de MP3, las personas que amas morirán".

Altman dijo algo similar sobre IA.

Si Altman fuera solo el CEO de una empresa tecnológica común, estas acusaciones serían, como mucho, un buen chisme empresarial. Pero OpenAI no es común.

Según sus propias palabras, está desarrollando posiblemente la tecnología más poderosa de la historia humana, capaz de reconfigurar la economía global y el mercado laboral (OpenAI acaba de publicar un documento de política sobre el desempleo causado por la IA), y también puede utilizarse para crear armas bioquímicas a gran escala o llevar a cabo ataques cibernéticos.

Todos los salvaguardas de seguridad han quedado en nada. La misión sin fines de lucro del fundador ha cedido el paso a la carrera hacia una IPO. El ex científico principal y el ex responsable de seguridad consideran al CEO "poco confiable". Los socios comparan al CEO con SBF. En estas circunstancias, ¿por qué el CEO tiene el derecho de decidir unilateralmente cuándo lanzar modelos de IA que podrían cambiar el destino de la humanidad?

Gary Marcus (profesor de IA de la Universidad de Nueva York y defensor a largo plazo de la seguridad de la IA) escribió una frase tras leer el informe: ¿Realmente te sientes seguro de dejar que Altman decida solo si lanzar o no un modelo futuro de OpenAI capaz de crear armas bioquímicas a gran escala o llevar a cabo ataques cibernéticos catastróficos?

La respuesta de OpenAI a The New Yorker fue concisa: "La mayor parte de este artículo reitera eventos ya reportados, utilizando afirmaciones anónimas y anécdotas selectivas; las fuentes claramente tienen intereses personales."

La forma en que respondió Altman: no responde a las acusaciones específicas, no niega la autenticidad del memorando, solo cuestiona los motivos.

Los diez años de OpenAI, escritos como un esquema de historia, son así:

Un grupo de idealistas preocupados por los riesgos de la IA creó una organización sin fines de lucro con una misión. La organización logró avances tecnológicos extraordinarios. Los avances atrajeron capital masivo. El capital exigió retornos. La misión comenzó a ceder terreno. El equipo de seguridad fue disuelto. Los críticos fueron eliminados. La estructura sin fines de lucro se transformó en una entidad con fines de lucro. El consejo de administración, que antes tenía el poder de cerrar la empresa, ahora está lleno de aliados del CEO. La empresa, que antes se comprometió a dedicar el 20% de su potencia de cómputo para proteger la seguridad humana, ahora tiene profesionales de relaciones públicas que dicen: "Eso no es algo real".

El protagonista de la historia, ciento más de testigos presenciales le dieron la misma etiqueta: "no está sujeto a la verdad".

Él está a punto de llevar a esta empresa a IPO con una valoración superior a 850 mil millones de dólares.

La información de este artículo se ha recopilado de informes públicos de múltiples medios, incluyendo The New Yorker, Semafor, Tech Brew, Gizmodo, Business Insider y The Information.