Principales conclusiones:
- La advertencia de Sam Altman desplaza las noticias sobre IA hacia un desarrollo más lento y una mayor seguridad.
- OpenAI prepara casos de seguridad antes de ejecutar entrenamientos que se espera que mejoren las capacidades.
- Altman advierte sobre la pérdida del control humano y el excesivo poder de la IA concentrado en un solo actor.
Las noticias sobre IA se centraron en la seguridad fronteriza después de que el CEO de OpenAI, Sam Altman, solicitara un desarrollo de modelos más lento y cuidadosamente monitoreado. Advertió que la humanidad podría perder el control si las capacidades avanzan más rápido que los sistemas de alineación y monitoreo.
Altman también identificó el fuerte control centralizado sobre la IA poderosa como un peligro separado. Su declaración del 14 de septiembre respaldó el progreso continuo, aunque los desarrolladores deberían aceptar costos adicionales de seguridad y un desarrollo más lento.
Las noticias de IA se centran en el desarrollo de la frontera de ritmo
Altman apoyó la propuesta del CEO de Anthropic, Dario Amodei, de ritmar el desarrollo mientras los investigadores fortalecen las protecciones de seguridad.
Sin embargo, explicó que el ritmo controlado no significa detener el progreso tecnológico. En cambio, los laboratorios deben aceptar un desarrollo más lento cuando las revisiones de seguridad requieren más tiempo. Esas intervenciones conllevan altos costos, pero Altman describió esos costos como necesarios.
Además de las noticias de IA, Altman dijo que la presión competitiva dentro de Estados Unidos nunca debería justificar un desarrollo imprudente. Añadió que las capacidades del modelo no deben avanzar más allá de los sistemas de alineación y monitoreo.
El progreso se ha acelerado, lo que hace más esencial el desarrollo responsable para cada laboratorio de vanguardia. Dijo que las empresas estadounidenses deben dar al público la confianza de que desarrollarán sistemas avanzados de manera responsable.
Los marcos anteriores de la empresa examinaban principalmente modelos completados antes de su implementación pública. Estos incluían Políticas de Escalación Responsable y Marcos de Preparación desarrollados por laboratorios de vanguardia.
Altman dijo que las condiciones actuales de desarrollo requieren nuevas herramientas y evaluaciones de seguridad más tempranas. En consecuencia, OpenAI ha adelantado algunos trabajos de seguridad antes de aumentos importantes de capacidad.
OpenAI añade casos de seguridad antes de las ejecuciones de entrenamiento
OpenAI ahora formula casos de seguridad explícitos antes de ejecuciones seleccionadas de aprendizaje por refuerzo de vanguardia. La empresa los aplica cuando los investigadores esperan que una ejecución de entrenamiento produzca mejoras significativas en capacidad.
OpenAI también continúa realizando trabajos de seguridad antes de lanzar modelos completos. Este enfoque, por lo tanto, coloca las evaluaciones en las etapas de desarrollo y despliegue.
Altman dijo que las empresas deberían compartir enfoques y proponer sus propios procedimientos de seguridad. Apoyó estándares comunes que cubran la desalineación del modelo, la supervisión y la seguridad.
Estos estándares podrían guiar a los laboratorios en la evaluación de sistemas cada vez más capaces. También dio la bienvenida a auditores independientes como parte de un marco coherente para los riesgos de la frontera.
El último comunicado sobre inteligencia artificial pidió una acción inmediata de la industria sin esperar la legislación. Altman dijo que las empresas no necesitan una exención antimonopolio antes de implementar salvaguardias.
También respaldó un marco federal que establece requisitos consistentes para los desarrolladores de vanguardia. Sin embargo, asignó a los gobiernos un papel más amplio en la coordinación de normas internacionales de seguridad.
Altman dijo que los laboratorios deberían implementar primero las protecciones disponibles dentro de sus propias organizaciones. Los gobiernos podrían luego apoyar la coordinación entre países para desarrollar modelos avanzados.
Su declaración no solicitó poner fin a la investigación en IA ni a las mejoras en las capacidades. En cambio, propuso el desarrollo continuo con un monitoreo más fuerte y un ritmo deliberado.
Noticias de IA: Sam Altman identifica dos riesgos de IA frontera
Altman describió dos formas en que el desarrollo avanzado de IA podría producir resultados gravemente dañinos. Primero, la humanidad podría perder el control si las capacidades superan las salvaguardias disponibles.
En segundo lugar, una empresa, un país, un laboratorio o un individuo podrían adquirir un control excesivo sobre sistemas poderosos. Esa concentración podría permitir que un solo actor imponga su visión del mundo a los demás.
La advertencia colocó el control técnico y el control institucional dentro de la misma discusión de seguridad. Altman dijo que OpenAI se mantuvo comprometida con garantizar que la IA sirva a la humanidad.
Según las últimas noticias de IA, el CEO de OpenAI también enfatizó que cada laboratorio frontera debe cumplir con esa responsabilidad. De lo contrario, los sistemas más capaces podrían avanzar sin supervisión adecuada o estándares compartidos.
La publicación Noticias de IA: Sam Altman dice que el progreso de la IA debe ralentizarse a medida que los riesgos fronterizos se aceleran apareció por primera vez en The Coin Republic.