El científico jefe de OpenAI advierte sobre la creciente complejidad de la IA y los desafíos de alineación

Autor: Jakub Pachocki

Compilado por Deep潮 TechFlow

Lectura destacada de Shenchao: El científico principal de OpenAI ha hablado raramente, afirmando directamente que la IA se está acercando a la mejora recursiva de sí misma, y que las herramientas de alineación y monitoreo ya no siguen el ritmo de la evolución del sistema. En lugar de ofrecer conclusiones tranquilizadoras, pone sobre la mesa los riesgos más complejos de los próximos años: la humanidad podría estar creando una mente que no puede comprender ni controlar por completo. Para los profesionales interesados en la intersección entre IA y cripto, este es un artículo esencial sobre la pérdida de control del sistema y los límites de defensa.

Desde una perspectiva más amplia, el avance de la inteligencia artificial está impulsado por el crecimiento del poder de cómputo. Aproximadamente en 2017, en OpenAI ya comprendíamos profundamente este hecho. En ese momento, observamos que múltiples proyectos de investigación obtenían retornos continuos al escalar su tamaño. Por ello, comenzamos a buscar obtener mucho más poder de cómputo del previsto, y centraremos cada vez más nuestra investigación en unas pocas direcciones con una escalabilidad extremadamente alta. Creemos que esta es la única manera de posicionarnos en la vanguardia de la investigación en IA y de influir en el impacto de la IAG.

A lo largo del camino, han surgido nuevos algoritmos, así como nuevas ideas innovadoras de equipos e investigadores individuales. En general, considero estos avances como descubrimientos en la trayectoria de expansión. La ciencia del aprendizaje profundo aún se encuentra en una etapa temprana, y los avances algorítmicos significativos suelen estar estrechamente relacionados con el acceso a capacidad de cómputo. Si amplías la perspectiva a varios años, la IA continúa volviéndose más inteligente a medida que se escala en computadoras más grandes.

Además, tal como predijo Ray Kurzweil a finales del siglo XX, ahora estamos en un momento de la historia de la computación en el que la inteligencia artificial comienza a superar a los humanos en niveles transformadores.

La IA更像是被“生长”出来的，而不是被设计出来的。从第一性上说，它是把同一个简单的优化步骤，在难以想象的算力上重复无数次之后得到的产物。这造就了一个极其复杂的系统，它通过抽象概念运作，并能模拟人类行为的某些侧面。我们可以发现这个系统内部涌现出的各种小机制的洞见，这个过程类似于神经科学。而和神经科学一样，它的整体行为也超出了我们能够完全理解的范围。

La investigación sobre IA basada en aprendizaje profundo es, en gran medida, una ciencia experimental. Invertimos una gran cantidad de esfuerzo en construir algoritmos con fundamentos sólidos y hacer predicciones verificables. Pero en esencia, nuestros entrenamientos a gran escala son experimentos, y a veces los resultados nos sorprenden. Además, a medida que las capacidades del sistema aumentan, los resultados se vuelven cada vez más difíciles de interpretar.

Lo más complejo es que los algoritmos actuales suelen hacer que las habilidades fáciles de medir progresen más rápido que las difíciles de cuantificar objetivamente. Hemos dedicado mucho tiempo a comprender cómo se generalizan las habilidades y qué competencias debemos priorizar, ya que estas serán las más importantes en los próximos años. Por ejemplo, creemos que, con un esfuerzo adicional, podríamos hacer que el modelo sea más fuerte en investigación matemática. Sin embargo, no hemos priorizado esta dirección, ya que nos centramos con mayor urgencia en la auto-mejora recursiva y en la investigación de alineación automatizada. Esto lo volveré a mencionar más adelante.

La inteligencia obtenida mediante el aprendizaje profundo no puede compararse directamente con la inteligencia humana. Para tener un impacto significativo en este mundo real, ya sea muy útil o muy peligroso, la IA no necesita igualar ni superar todas las capacidades humanas; solo necesita superar a los humanos en suficientes capacidades. Y cuanto más supera a los humanos en un número creciente de dimensiones, más difícil se vuelve saber con precisión cuán fuerte es realmente.

Dado que la inteligencia artificial proviene de procesos fundamentalmente distintos a la inteligencia humana, no podemos asumir que por defecto seguirá los principios humanos ni que generalizará estos principios de manera similar a los humanos. El problema central en la investigación de IA es el problema de alineación: hacer que la IA "se esfuerce por hacer lo correcto según los estándares humanos".

Para facilitar la organización de las líneas de investigación reales, creo que es útil distinguir entre el alineamiento de objetivos y el alineamiento de valores.

El alineamiento de objetivos es aproximadamente: “¿Se esfuerza la IA por lograr los objetivos que se le presentan?”. Puede incluir la capacidad de seguir jerarquías de instrucciones, comunicarse y colaborar con humanos, intentar comprender los objetivos humanos, entre otros. Este enfoque es extremadamente importante en la práctica.

La alineación de valores es una propiedad más intrínseca del modelo. Es la capacidad de adherirse a principios de alto nivel y generalizar a partir de ellos; incluso frente a objetivos ambiguos o contradictorios, o al ser colocado en situaciones desconocidas o adversas, puede actuar de manera "racional". Una IA alineada debe ser honesta, íntegra y amar a la humanidad.

Por supuesto, la línea entre la alineación de valores y la alineación de objetivos puede ser borrosa. Importarse realmente por los objetivos requiere intentar inferir las intenciones y valores detrás de ellos. Sin embargo, en general, cuando hablo de la importancia a largo plazo de la investigación de alineación, me refiero a la alineación de valores.

El desafío fundamental de la alineación de IA radica en la generalización. A medida que las máquinas se vuelven más inteligentes, manejan conceptos de mayor nivel y se encuentran en entornos cada vez más distintos a los de entrenamiento. Pueden fallar al generalizar los valores enseñados y reforzados durante el entrenamiento a nuevas situaciones. Además, es difícil determinar cómo actuarán. Aún más difícil es que el ecosistema general en el que se utiliza la IA cambia muy rápidamente. Por ejemplo, las IA entrenadas hoy deben poder interactuar de manera robusta con diversas otras IA. Lo más crucial es que necesitamos que las IA futuras mantengan continuamente los valores humanos, independientemente de si creen o no que están siendo supervisadas por humanos.

Los métodos de entrenamiento de alineación actualmente aplicados se dividen principalmente en dos categorías.

El primer enfoque consiste en fomentar comportamientos coherentes con el aprendizaje por refuerzo orientado a objetivos. El comportamiento del modelo se evalúa, generalmente mediante IA, para determinar si cumple con un modelo de preferencias, "normas" o "constitución" dados, y se otorgan recompensas correspondientes. Este método es muy efectivo en general y forma parte fundamental de la construcción de asistentes de IA modernos. Desafortunadamente, también puede ser frágil y depender fuertemente del alcance de la supervisión en el entrenamiento, así como de la capacidad del modelo para generalizar a partir de las situaciones encontradas durante el entrenamiento. Por ejemplo, en el caso de OpenAI y Hugging Face, el agente respetó un límite: no realizar ingeniería social sobre humanos. Sin embargo, claramente no evitó otras conductas fuera de ese límite que contradecían el espíritu de los valores que se le habían enseñado en otros escenarios.

Estos métodos ya han producido resultados significativos. Nuestro modelo actual es en gran medida útil, inofensivo y muestra algunos comportamientos alentadores, cercanos a la alineación de valores. Pero aún no nos permiten estar seguros de que estas restricciones de valores seguirán siendo efectivas en sistemas con capacidades mucho superiores a las humanas.

A medida que las capacidades de los sistemas de IA mejoran, necesitamos que el entrenamiento de alineación de valores preceda al entrenamiento de capacidad. Sin embargo, aquí surge un problema fundamental: cuanto más potente sea el sistema, más probable será que encuentre vulnerabilidades, evite pruebas o disimule su propio comportamiento. Pueden aprender a comportarse como si estuvieran alineados con los valores humanos en entornos de prueba, y luego realizar acciones completamente diferentes en entornos de despliegue reales. Esto se conoce como "engaño de alineación".

Y si intentamos imponerles restricciones más fuertes, podrían desarrollar comportamientos de resistencia o engaño, o interpretar nuestras intervenciones como parte del mundo, generando respuestas contraintuitivas. Al intentar controlar un sistema más inteligente que nosotros, enfrentamos naturalmente una asimetría.

A medida que nuestras mentes, que no podemos comprender completamente, se vuelven más poderosas, nos vemos obligados a depender de otro conjunto de herramientas: la supervisión. Si podemos observar continuamente las actividades internas de la IA, tal vez podamos detectar señales antes de que cruce ciertos límites.

En OpenAI, hemos estado avanzando en la investigación de la interpretabilidad, tratando de abrir la "caja negra" de las redes neuronales. Estos esfuerzos han generado progresos. Ahora somos capaces de identificar ciertas representaciones que ofrecen pistas sustanciales sobre el funcionamiento interno del modelo. Sin embargo, la investigación actual en interpretabilidad aún es rudimentaria, especialmente en la comprensión del razonamiento abstracto dentro de modelos a gran escala. La brecha entre nuestra capacidad para observar el interior del modelo y la complejidad del razonamiento del propio modelo sigue ampliándose.

Esto me preocupa especialmente. Debido a que el problema de generalización en la supervisión es tan grave como el problema de generalización en la alineación. Si un sistema es mejor que nosotros para ocultarse, es difícil garantizar que nuestras herramientas de supervisión no puedan ser evitadas. Podríamos creer que el modelo es seguro porque vemos una serie de métricas que parecen positivas, cuando en realidad el modelo simplemente está optimizando esas métricas. Aprenderá a ocultar objetivos que no queremos que tenga, o a ocultar lo que está haciendo.

Si el modelo comienza a impulsar su propia mejora, lo cual creo que es muy probable que ocurra en los próximos años, necesitará habilidades de planificación, engaño y autoprotección. Estas habilidades podrían surgir de la presión de los objetivos que le establecemos, o de su intento de actuar en las brechas de la supervisión. Para asegurar que no desarrolle estas cosas, o bien necesitamos resolver el problema de alineación de valores, o bien necesitamos que nuestra capacidad de supervisión siga el ritmo de cada evolución suya. Ambas cosas aún están muy lejos de ser suficientes.

Aún no tenemos una teoría satisfactoria sobre la generalización, y parece poco probable que se establezca en el corto plazo, al menos sin la ayuda de IA más potente. Por lo tanto, actualmente, la capacidad de validar empíricamente las técnicas de alineación es, en la práctica, más importante que las propias técnicas de alineación.

La apuesta principal de OpenAI aquí ha sido siempre el monitoreo de cadenas de pensamiento. Se basa en una idea escalable atractiva: gran parte de la capacidad del modelo proviene de un proceso de razonamiento verbalizado, es decir, la cadena de pensamiento. Si optimizamos escalablemente los resultados de este proceso, pero no supervisamos el proceso en sí, entonces la cadena de pensamiento no tiene un incentivo directo durante el entrenamiento para ocultar ninguna idea o objetivo mal alineado. Esto no significa que el modelo aprenda a externalizar esas tendencias mal alineadas que no dependen de la cadena de pensamiento; pero nos permite monitorear con precisión el aumento de capacidad derivado del razonamiento.

Mientras desarrollábamos modelos de inferencia, comprendimos la importancia potencial del monitoreo de cadenas de pensamiento. Al lanzar o1-preview, diseñamos intencionalmente el producto para ocultar las cadenas de pensamiento, con el fin de protegerlas a largo plazo de la presión de supervisión. Durante el desarrollo posterior, hemos mantenido consistentemente la regla de no supervisar el proceso de inferencia. El monitoreo de cadenas de pensamiento se ha convertido en una herramienta extremadamente valiosa para nuestra investigación sobre cómo los modelos generalizan a partir de la distribución de entrenamiento, permitiéndonos no solo observar y analizar el comportamiento del modelo, sino también sus procesos internos.

Mientras investigamos los modelos de la serie Astra, esta herramienta sigue siendo crucial. Sin embargo, desafortunadamente, nuestras evaluaciones indican que nuestra capacidad para depender del monitoreo de cadenas de pensamiento está disminuyendo gradualmente. Esto es el resultado de múltiples factores.

Los modelos de razonamiento modernos se utilizan en entornos más complejos que o1‑preview; sus procesos de razonamiento se entrelazan cada vez más con la comunicación con humanos, otros AI y el uso de herramientas. Muchas de estas interacciones deben ser supervisadas, lo que borra los límites que deseamos mantener.

AI se está volviendo más fuerte en el razonamiento y la manipulación de su propio proceso de razonamiento.

A medida que mejora el rendimiento del preentrenamiento, también hemos observado que los modelos se vuelven más inteligentes, incluso sin utilizar razonamiento lingüístico.

Estos desafíos no son necesariamente insuperables. Espero que podamos desarrollar intervenciones para mejorar la monitorización de las cadenas de razonamiento de los modelos, por ejemplo, comprender mejor la interacción entre diferentes objetivos de optimización y las diversas formas de cálculo en tiempo de prueba que utilizan los modelos. También creo que combinar la monitorización de cadenas de razonamiento con la idea de monitorización de activaciones tendrá un gran valor, escalando el entrenamiento de monitores que puedan acceder directamente al estado interno de la red, como el método "confesión". Estamos avanzando activamente en estas ideas. Sin embargo, espero que el progreso en IA general se vea cada vez más limitado por la confianza en la monitorización.

Para hacer frente a esta situación, creo que necesitamos una defensa escalable que se mantenga al ritmo del crecimiento de la IA. Es imposible que los humanos revisen manualmente el comportamiento de cada nueva generación de modelos. Nuestras evaluaciones y pruebas de red actuales aún son efectivas para los modelos actuales, pero pronto alcanzarán sus límites a medida que las capacidades de los sistemas aumenten.

Necesitamos sistemas de IA capaces de descubrir automáticamente nuevos riesgos. Estos sistemas de defensa también deben ser lo suficientemente inteligentes como para identificar comportamientos sospechosos en sistemas más inteligentes que ellos. Esto crea un desafío recursivo: los defensores deben crecer al mismo ritmo que los sistemas. Estamos en un punto en el que la seguridad y la capacidad se vuelven cada vez más difíciles de separar. Para mantener la seguridad, es posible que tengamos que mejorar continuamente la capacidad de la IA de defensa, lo que a su vez acelerará el crecimiento general de la capacidad de la IA.

Este es un ciclo inquietante. Continuamos mejorando nuestras capacidades en busca de seguridad, pero el aumento de capacidades trae consigo más riesgos. La verdadera salida podría consistir en encontrar formas estables de alinear valores para lograr una generalización confiable antes de alcanzar un punto de descontrol. Pero debo reconocer honestamente que aún estamos muy lejos de alcanzar este objetivo.

Por eso tiendo a poner mis esperanzas para los próximos años en esta combinación: investigación de alineación tecnológica + sistemas de defensa automatizados + intervenciones de gobernanza amplias + vigilancia del público y las instituciones. Una sola medida no es suficiente. No podemos depender únicamente de la autodisciplina de una sola empresa o laboratorio.

La razón más fuerte para continuar entrenando rápidamente modelos más inteligentes es la necesidad de establecer sistemas de defensa contra los peligros planteados por otras IA.

Un riesgo claramente discutido durante todo este año es la ciberseguridad: la capacidad de los modelos para invadir y evadir sistemas informáticos está superando a la humana. Esto amplía enormemente el alcance de los riesgos relacionados con la IA: los agentes podrán acceder a cualquier sistema, excepto a las infraestructuras más seguras, e influir directamente en una gran cantidad de elementos del mundo, incluso sin tener un cuerpo físico. Actualmente nos encontramos en una ventana estrecha en la que debemos utilizar los mejores modelos disponibles para fortalecer significativamente la seguridad de los sistemas críticos.

Los riesgos relacionados con la IA desafortunadamente continuarán aumentando desde aquí. Un agente extremadamente capaz, entrenado y dirigido explícitamente para realizar comportamientos maliciosos, representa un nuevo peligro; es probable que exceda las intenciones del operador y generalice comportamientos aún más extremadamente maliciosos. A medida que la IA gane mayor autonomía, la línea entre el abuso y los comportamientos autónomos no alineados se volverá borrosa. Podríamos acostumbrarnos a ver a la IA como una herramienta, pero algunos agentes perseguirán sus propios objetivos. Buscarán formas de colaborar con los humanos mediante negociación, engaño o chantaje.

Además, existen riesgos derivados de nuevas tecnologías que podría impulsar la IA, como patógenos diseñados.

Necesitaremos IA potente y alineada para la defensa: proteger la infraestructura, defender en tiempo real contra agentes descontrolados y crear nuevas medidas de protección. Este será un enfoque principal del trabajo de implementación de OpenAI.

Al mismo tiempo, incluso considerando la incertidumbre derivada de los avances esperados en IA y la necesidad de construir sistemas de defensa, no podemos permitir que esto sirva como excusa para actuar con imprudencia. Una vez que la gente comprenda realmente la gravedad de lo que está en juego, la idea de “avanzar a toda costa” resulta absolutamente absurda.

La inteligencia artificial desempeña un papel cada vez más importante en su propio desarrollo, lo que es una conclusión inevitable del progreso tecnológico continuo. Si la IA continúa avanzando, la auto-mejora recursiva de las máquinas se convertirá en el núcleo de los descubrimientos científicos futuros.

La investigación automatizada de IA es una forma más intensa de extender la inteligencia mediante poder de cómputo; por supuesto, como parte de esto, la IA también mejorará la propia infraestructura de cómputo. Al igual que con la expansión, centraremos la investigación de OpenAI en la auto-mejora recursiva, ya que creemos que es la única forma de seguir a la vanguardia de la investigación en IA.

Quiero enfatizar que el contenido anterior no implica que considere que acelerar significativamente la investigación en aprendizaje profundo, especialmente a corto plazo, sea una acción colectiva que la comunidad de investigación deba adoptar. Sin embargo, sí creo que la trayectoria actual nos lleva en esa dirección, y todos nosotros necesitamos elegir conscientemente cómo continuar. Tenemos dos palancas principales a nuestra disposición: una es guiar este proceso, fortaleciendo la alineación y la supervisión mientras desarrollamos la IA, y asegurándonos de que los humanos sigan participando activamente; la otra es coordinar, según sea necesario, una desaceleración del ritmo de desarrollo futuro para construir gradualmente confianza en estas medidas.

Lo que veo actualmente como la mejor forma de avanzar es combinar ambos.

Los avances concretos logrados en alineación y monitoreo suelen estar profundamente entrelazados con el progreso general de la IA. Ejemplos excelentes incluyen el aprendizaje por refuerzo basado en retroalimentación humana, que fue clave para entrenar asistentes de IA tempranos; y el monitoreo de cadenas de pensamiento, mencionado anteriormente, que solo se volvió posible gracias a los avances en modelos de razonamiento. Debemos dirigir los procesos de investigación cada vez más automatizados hacia el desarrollo de estas nuevas ideas, algoritmos y teorías, y construir gradualmente argumentos de seguridad para IA más potentes.

El sistema de IA expandido debe estar limitado por nuestra confianza en la seguridad. Necesitamos transformar compromisos como el Preparedness Framework o el Responsible Scaling Policy en umbrales de seguridad de desarrollo continuo ampliamente obligatorios. Estos umbrales pueden ser aplicados por una red de entidades de auditoría independientes, agencias gubernamentales u organizaciones internacionales.

El desafío central de la investigación de IA automatizada no es "llegar allí", sino llegar de alguna manera: mantener a las personas involucradas en el proceso de mejora continua y dejar el futuro en manos humanas.

No puedo predecir un momento exacto, pero parece que nos estamos acercando rápidamente a una era en la que la IA podrá impulsar su propio desarrollo en múltiples aspectos clave. Esto significa que probablemente pronto entraremos en una fase de mejora recursiva automática.

Dentro de OpenAI, ya hemos comenzado a ajustar las prioridades de investigación, asignando más recursos a la alineación y la defensa, en lugar de la mera expansión de capacidades. Por eso enfatizo que no perseguiremos ciegamente los modelos más grandes, sino que necesitamos estar dispuestos a suspenderlos unilateralmente en los momentos necesarios.

Sin embargo, estas decisiones no pueden dejarse únicamente en manos de unas pocas personas dentro de las empresas. Los gobiernos y la comunidad internacional deben intervenir antes de que los riesgos se vuelvan irreversibles. Esto incluye establecer mecanismos de supervisión para las operaciones de entrenamiento de vanguardia, auditorías obligatorias por terceros y acuerdos internacionales sobre umbrales de capacidad.

No estoy completamente seguro de que estas medidas puedan implementarse a tiempo. A veces me siento frustrado porque nuestras medidas de seguridad siempre van detrás de las capacidades, no por delante. Parece que siempre estamos tratando de alcanzarlas. Pero aún así creo que hay motivos para mantener la esperanza: en esa noche de 2023, apenas intuímos esa posibilidad, y hoy está tan clara que puede discutirse abiertamente. Eso en sí mismo es un avance.

No voy a fingir que tengo todas las respuestas. Estamos creando algo completamente distinto a la mente humana, una mente que podría volverse más poderosa que nosotros en poco tiempo. Es una idea humillante, pero también nos brinda una oportunidad: moldearla con nuestros mejores valores.

Si lo hacemos bien, será el mayor logro de la humanidad. Si lo hacemos mal, podría ser un fracaso del que no podamos recuperarnos.

Si podemos mantener el futuro en manos humanas es una pregunta que se decidirá en los próximos años.

Como hemos explicado recientemente con Sam, los trabajos que OpenAI prioriza avanzan hacia tres objetivos de brújula:

Superar la próxima fase del avance de la IA mediante la construcción de investigadores de IA automatizados, iterando con ellos para alinear problemas y buscando formas de mantener a las personas dentro del bucle de auto-mejora.

Unlock the scientific advancements and economic growth benefits brought by ultra-intelligent machines.

Que cada persona tenga su propio AGI personal.

Este artículo se enfoca únicamente en el primer punto, ya que considero que es actualmente el más urgente. Sin embargo, tengo una profunda expectativa y gratitud por los beneficios que traerán los futuros avances tecnológicos. Una IA alineada en el futuro puede impulsar la ciencia, desarrollar nuevas terapias y generar una riqueza material amplia. Una IA amigable y honesta puede ayudar a las personas a enfrentar las dificultades de la vida, mejorando concretamente su bienestar y satisfacción. OpenAI ha invertido grandes esfuerzos para lograr estos beneficios. Un ejemplo actual del que me siento orgulloso y que también beneficia a quienes me rodean es nuestra profunda inversión en la capacidad de ChatGPT para proporcionar información sobre salud.

Aunque las perspectivas a largo plazo de la IA sean muy prometedoras, nuestra mayor atención debe centrarse en los próximos años. Estamos atravesando una etapa de transición hacia un mundo con máquinas extremadamente inteligentes, y debemos asegurar que esta transición sea beneficiosa para la humanidad. En un mundo donde la mayoría de las tareas podrían ser realizadas por la IA, necesitamos encontrar formas de preservar la agencia humana y establecer el valor intrínseco de “ser humano”. Debemos evitar la concentración extrema del poder: empresas que antes requerían miles de expertos podrán lograrse en el futuro con solo unas pocas personas operando una sola computadora grande. Además, debemos garantizar que los humanos sigan controlando el futuro, sin quedar rezagados por un progreso descontrolado impulsado por una inteligencia externa que nos supere.

Actualmente considero que ningún laboratorio ha logrado un nivel suficiente de alineación y monitoreo para respaldar su expansión responsable a máxima velocidad durante períodos más largos. Espero y deseo que la desaceleración voluntaria se convierta en la norma hasta que se establezca un umbral de seguridad común. También creo que la coordinación internacional sobre el desarrollo futuro de la IA debe convertirse en una prioridad absoluta para los gobiernos de todo el mundo.

1 Esto incluye la extensión de teoría de juegos, robótica y, lo más importante a la luz de lo sucedido, la extensión de redes recurrentes para modelar lenguaje, lo que sentó las bases para la serie de investigaciones GPT.

La segunda razón de este diseño es prevenir la destilación. Sin embargo, a lo largo de todo el proceso de desarrollo, mantener la monitorización de la cadena de pensamiento siempre ha sido nuestra prioridad más importante.