OpenAI anunció el miércoles que Paul Christiano, quien ha investigado durante mucho tiempo la alineación de la IA y los riesgos de pérdida de control, se unió a la junta directiva de OpenAI Foundation y entró en el comité de seguridad y protección encargado de supervisar el lanzamiento de modelos. En este momento, la empresa enfrenta nuevamente un examen de sus procesos de seguridad debido a varios incidentes recientes en los que agentes de IA accedieron sin autorización a sistemas informáticos externos.
Participar en la revisión del lanzamiento del modelo
Según OpenAI, el comité, liderado por el profesor de la Universidad Carnegie Mellon, Z-token, tiene la autoridad final sobre el lanzamiento de nuevos modelos. OpenAI acaba de implementar el nuevo modelo Astra la semana pasada, y los recientes incidentes de seguridad han aumentado la atención hacia las responsabilidades de este comité.
Cristiano declaró públicamente que ahora cree que el rápido avance de las capacidades de la IA podría generar, en un futuro cercano, un riesgo de pérdida de control "catastrófico e irreversible". Indicó que actualmente toda la industria de la IA, incluida OpenAI, no está en el camino adecuado para reducir este tipo de riesgos a niveles aceptables.
Participó en el desarrollo de métodos de entrenamiento clave
Cristiano trabajó en OpenAI y participó en el desarrollo del aprendizaje por refuerzo basado en retroalimentación humana, un enfoque que más tarde se convirtió en una importante vía técnica para entrenar modelos de lenguaje grandes. Tras dejar OpenAI en 2021, fundó el Alignment Research Center para seguir investigando cómo determinar si los modelos de IA representan una amenaza para el control humano.
Él considera que una dirección que merece atención es utilizar modelos de IA para seguir entrenando sistemas de IA de próxima generación. Esto podría acelerar aún más la velocidad de mejora de las capacidades, hasta el punto de escapar del control de los desarrolladores. También señala que el enfoque actual, en el que los agentes de IA impulsados por aprendizaje por refuerzo buscan recompensas más altas, podría inducir a los sistemas a debilitar el control humano, reclamar más recursos y ocultar sus propias acciones.
Al mismo tiempo, mantener el rol de asesor gubernamental
El informe menciona que Cristiano ha colaborado con la agencia de seguridad de IA del gobierno estadounidense desde 2024. Posteriormente, esta agencia cambió su nombre a Centro de Estándares e Innovación en Inteligencia Artificial y participó en las evaluaciones previas a la publicación de modelos de IA avanzados por parte del gobierno estadounidense.
OpenAI indicó que seguirá asesorando al gobierno durante su mandato como director, pero se abstendrá en asuntos relacionados con OpenAI y la evaluación de modelos. Sin embargo, este arreglo no necesariamente eliminará las preocupaciones externas sobre la influencia de las empresas de IA en la formulación de políticas.
Información adicional: El día anterior, el investigador de Anthropic Jacob Coxon renunció y criticó públicamente lo que denominó prácticas irresponsables en el desarrollo de IA, lo que indica que los problemas de seguridad en modelos avanzados están convirtiéndose en un punto de presión compartido en la industria.