Oye, ¿lo has escuchado?
Los buenos días de los investigadores humanos no durarán más de dos años.
En dos años, que los humanos investiguen IA será como que los humanos jueguen ajedrez hoy en día.
Claro que aún puedes bajar, pero a nadie le importa cómo lo haces.
Esta es la última afirmación explosiva lanzada por Jerry Tworek, exlíder del modelo de razonamiento de OpenAI.
Entró en OpenAI en 2019 y se quedó durante siete años. Cuando el aprendizaje por refuerzo no lograba escalar, él se aferró firmemente y lo impulsó hasta lograrlo; las dos generaciones de potentes modelos, o1 y o3, fueron desarrolladas bajo su liderazgo directo.
«Queremos construir AGI». Así fue el único mapa de ruta que Ilya presentó en la reunión de toda la empresa cuando entró en OpenAI en 2019. Siete años después, se lanzó por su cuenta.
Lo aún más inquietante es que esta afirmación no la hace solo él. Actualmente, el chiste interno más popular entre los investigadores de IA es el siguiente:
Solo nos quedan unos días más de trabajo; mientras aún podamos, aprovechemos y terminemos, luego nos tomaremos una jubilación colectiva.
Todos lo repiten como un humor negro. Pero cada persona que cuenta el chiste lo tiene claro como el cristal.
Este chiste, casi seguro que es la realidad.
Y esto solo es el aperitivo. Durante toda la entrevista, lanzó una amenaza tras otra:
- El agente tiene creatividad, pero es una creatividad extremadamente pobre y excesivamente acumulada, con ideas variadas pero generalmente muy malas.
- En todo el mundo, solo hay entre treinta y cincuenta personas que realmente han llevado un modelo de vanguardia desde el entrenamiento hasta el despliegue; todos los demás les están dando soporte.
- Suponer que el Transformer es la solución óptima es casi imposible.
- Durante los siete años en OpenAI, solo se intentaron cambiar la arquitectura subyacente de tres a cuatro veces.
- El mundo no necesita que trabajemos para funcionar; este supuesto nunca fue válido
Aquí tienes la versión organizada, disfrútala.
La mitad del trabajo ya no lo hace nadie
Esta cifra de dos años no tiene relación con el puntaje ni con la potencia de cálculo.
Él cuenta cuánto trabajo aún lo realizan personas en el estudio de este asunto.
Y este trabajo ya fue dividido en dos partes.
Una parte es idear, reflexionar sobre por dónde ir. La otra parte es ejecutar, convertir las ideas en código funcional y recuperar los datos.
Y esa parte del trabajo ya casi se ha asignado al Agente.
Tworek fundó en abril de este año una empresa llamada Core Automation, con el lema de construir el laboratorio de IA más automatizado del mundo.
En su caso, el ciclo completo de un experimento se redujo directamente de un mes a un día. ¡La eficiencia aumentó treinta veces!
Sin embargo, este segmento de "dar sugerencias" aún no puede ser atendido por el agente. La razón es que—
They absolutely belong to the most creative species.
Pero están desperdiciando la creatividad de una manera extremadamente pobre y masiva. Las ideas son variadas, pero también son en general muy malas.
Solo hay treinta a cincuenta personas en todo el mundo.
Escuchando así, parece que esta parte de dar ideas aún es estable.
Pero realmente solo quedan unos pocos que pueden dar ideas.
En la entrevista, el presentador reveló que un investigador interno de OpenAI le había dado información confidencial—
En todo el mundo, solo pueden haber entre treinta y cincuenta personas que realmente comprendan completamente cómo entrenar y desplegar un modelo de vanguardia de extremo a extremo.
Todos los demás están sirviendo a estos docenas de cerebros, incluyendo a la mayoría de los empleados formales de la empresa más destacada.
Tworek no replicó.
Él también cree que cualquier equipo de primer nivel funciona así: unas pocas personas establecen la dirección, arrastrando detrás de sí toda una máquina de ejecución rugiente.
Para saber cuánto se demandan estas personas, basta con ver su propia lista de contratación.
Rohan Anil, cofundador de Core Automation, proviene de Anthropic y anteriormente trabajó en Google DeepMind.
Anmol Gulati, que trabajó en Gemini en DeepMind, también fue reclutado. Incluso Julia Villagra, exresponsable de recursos humanos de OpenAI, la siguió.
Todos los laboratorios están pescando en el mismo estanque. Y este estanque solo tiene unas pocas docenas de peces.
Entonces, este número de dos años no tiene relación con la humanidad en su conjunto.
Se refiere a estas decenas de personas y cuánto tiempo más podrán resistir.
Siete años, la arquitectura solo ha sido modificada seriamente tres o cuatro veces
Si solo quedan decenas de personas, ¿cuál es la última barrera que se interpone ante la IA?
La respuesta de Tworek es solo una palabra: Transformer.
En su opinión, esto casi imposiblemente es la solución óptima.
Primero, el modelo no puede seguir aprendiendo después de su implementación. Por mucho que charles con él, no se volverá más fuerte; en la próxima conversación, seguirá siendo el mismo modelo. La ventana de contexto tampoco lo soporta; dice que después de usar Codex durante unos veinte minutos, debe comprimirlo.
En segundo lugar, si intentas compensar mediante ajustes continuos, descubrirás que no solo es extremadamente ineficiente, sino que también provoca olvido catastrófico: al aprender algo nuevo, olvidas lo anterior.
Entonces, en los últimos años, la mayor parte del trabajo de la industria alrededor de Transformer ha consistido en hacerlo más barato, y muy pocos han verdaderamente intentado hacerlo más potente.
Pero lo que Tworek realmente quiere no está en la arquitectura en sí.
Él quiere un modelo que pueda seguir aprendiendo durante el tiempo de prueba, un modelo que pueda crecer continuamente a partir de la interacción con el usuario y los datos del usuario. Cambiar la arquitectura es solo un medio para lograr eso.
Nadie en la industria desconoce estos principios. Pero, ¿por qué, después de tantos años, Transformer sigue firmemente en su lugar?
La razón detrás es tan sencilla que resulta absurda: ni siquiera se intentó.
Durante los siete años en OpenAI, solo se intentaron sustituir la arquitectura subyacente de tres a cuatro veces.
El proceso es así.
El investigador primero realiza un experimento de validación a pequeña escala y lo ejecuta durante al menos tres meses. Solo cuando los resultados parecen prometedores, se atreve a escalarlo.
Y lo que se llama amplificación es que debes convencer con tu elocuencia a aproximadamente diez personas que tienen el poder de vida o muerte, y luego estas diez personas invertirán de tres a seis meses en tu agujero sin fondo.
Al final, o serás aplastado por la energía acumulada que el Transformer ya ha convertido en una bola de nieve, o serás parcialmente absorbido y convertido en un tornillo de su estructura.
Siete años, tres o cuatro veces. Esta es toda la capacidad de producción del laboratorio de IA más poderoso del mundo en innovación arquitectónica.
«Jare, toma estas hashrates para quemarlas»
Él mismo ya había chocado antes con un impasse idéntico en OpenAI. Y lo abrió una sola frase.
En ese momento, aquellos experimentos medio muertos lograron mostrar algunos signos de vida. No era nada excelente, pero al menos había un inicio.
En ese momento clave, Jakub Pachocki, quien más tarde se convirtió en científico jefe de OpenAI, lo encontró.
«Jare, todos estos GPU son tuyos, mira si puedes hacer que los resultados que tienes sean aún más grandes y más intensos.»
«Ahora tienes estas GPU.» Cuando repitió esta frase, o1 aún no tenía nombre
Esta frase lo sacó de un paradoja—
Primero debes entregar los resultados para tener derecho a solicitar capacidad de cálculo.
Pero claramente primero debes tener esa potencia de cálculo para obtener resultados.
Tworek dijo que la mayoría de las direcciones fronterizas están atrapadas en esta paradoja. Las batallas secretas en los laboratorios por competir por la potencia de cálculo son, en última instancia, un intento de encontrar un camino hacia afuera.
Y la exportación, a veces es simplemente que el liderazgo Punto punto Confianza.
Basta con que alguien desde arriba diga: "Espero que tengas una cuota de poder de cálculo decente para darle fuerte."
Cuando se abre la compuerta, lo que sigue no se puede detener.
El aprendizaje por refuerzo ha aumentado varios órdenes de magnitud desde este punto.
Luego, la aparición de o1, el camino de los modelos de razonamiento que muchos habían condenado a muerte, logró revivirlo.
Cien mil dólares equivalen a un experto
Y esta vez, ya no necesita esperar a que nadie hable.
La parte más costosa de toda la cadena es traducir ideas abstractas en código que funcione realmente. Y precisamente esto es lo que los Agentes hacen mejor en la actualidad.
Por ejemplo, Core Automation ya utilizó esta estrategia para abordar el núcleo de las GPU.
Específicamente, le dieron un núcleo de descomposición QR a un agente de programación, que lo ejecutó durante cuatro semanas, gastando aproximadamente cien mil dólares en costos de llamadas, y finalmente aceleró el núcleo hasta sesenta veces su velocidad original.
Este trabajo pertenece a la ingeniería de rendimiento de bajo nivel y se trata de optimizar cómo se ejecuta una operación matricial en la GPU, lo que normalmente requiere que unos pocos expertos ajusten línea por línea.
Y hay pocos de estos expertos en todo el mundo.
Ahora diez mil dólares pueden reemplazar uno. No necesita ser convencido, ni requiere tres a seis meses.
La barrera que había estado bloqueada durante siete años se ha roto así.
¿Qué más podemos hacer después de eso?
Incluso la arquitectura más difícil de modificar ya se ha aflojado, así que los volantes en manos de unas pocas decenas de personas no podrán sostenerse mucho tiempo.
Al final de la entrevista, el presentador le planteó directamente la pregunta: cuando llegue ese día, ¿qué quedará por hacer?
Para ello, Tworek describió dos escenas.
La primera es la antigua Grecia.
Todos se reúnen en la plaza, charlan filosofía con calma durante todo el día, luego van a hacer ejercicio, comen aceitunas y beben vino.
Él mismo apenas terminó de describirlo y se rió, admitiendo que probablemente solo estaba proyectando sus propios deseos.
“Nos encontramos en la plaza y luego charlamos.” Él reprodujo las palabras exactas con las que describió la vida cotidiana humana en la era post-AGI, y luego se rió primero.
La segunda es la escuela secundaria, o la universidad.
Él cree que las personas deberían mantener la búsqueda de la «excelencia» en sí misma. Sigue aprendiendo cosas nuevas con avidez y entrena tu cuerpo y tu mente hasta el límite.
Es un poco como el deporte profesional: no hay razón económica que te obligue a sudar y sangrar, pero el orgullo inherente del ser humano es intentar alcanzar lo que se llama «grandeza».
Tenemos que encontrar diversas formas de hacer esto.
Porque en el próximo mundo, ya no habrá ese tipo de cosas como «si no lo haces, el mundo se derrumbará». El mundo seguirá avanzando por sí mismo sobre la infraestructura que ya hemos construido.
“Debemos seguir aprendiendo siempre.” Dijo esto como si fuera una obligación, no un pasatiempo.
Entonces él reveló calmadamente sus cartas.
Debemos trabajar para que este mundo funcione. Este supuesto no necesita ser cierto.
“Muchas personas obtienen su autoestima del trabajo.” Reconoce que es la barrera más difícil de superar, incluso para él mismo.
Él también está en esta lista
La verdad es que, después de escuchar toda la charla, lo que más da miedo no es ese período de dos años.
Él mismo sabe que está acelerando este conteo regresivo.
Lo que él va a crear está definido como algo que puede aprender por sí mismo y volverse más fuerte, sin necesidad de que nadie esté al lado alimentándolo. Una vez creado, los puestos de esas veinte personas desaparecerán aún más rápido.
Y aún tiene una frase más contundente: el primero en ser juzgado será él mismo.
Si no eres el laboratorio con la reserva de hash más impresionante y el mayor volumen, morirás de forma muy desagradable.
Cuando dijo esto, Core Automation tenía solo cuatro meses de existencia y un ingreso contable de cero.
Él dijo que desde que emprendió, casi cada semana alguien venía a decirle: “Jare, es demasiado tarde, ya han recogido la escalera que lleva al cielo”.
Su respuesta fue solo un dicho propio.
La frase que más dice nuestra empresa es que todo es un problema de habilidad.
Lo que significa es que, al fallar al final, no culpes al entorno general, culpa solo a tu propia falta de habilidad técnica.
No lo digas, pero esta frase encaja bien en esta entrevista.
Vuelve a mirar la frase popular al principio.
Solo nos quedan unos días más de trabajo; aprovecha ahora que aún puedes hacerlo.
No sabemos si ese tono es de emoción o de tristeza.
Porque, para quien dice eso, ambas emociones son en realidad lo mismo.
Tworek dijo que el ritmo de este trabajo es extremadamente agotador; después de tantos años haciendo esto, es realmente, realmente cansado.
Pero si realmente creemos que este es el momento más importante de toda nuestra carrera.
Entonces, probablemente sea extremadamente valioso.
Referencias:
https://x.com/MTSlive/status/2092387349623935322
Este artículo proviene del canal de WeChat "Nuevas Inteligencias", autor: Apocalipsis ASI, editor: Moisés