OpenAI publica dos artículos sobre automatización de la investigación en IA y preocupaciones de seguridad

iconMetaEra
Compartir
AI summary iconResumen
Noticias en la cadena: OpenAI publicó dos artículos de investigación el 6 de septiembre, que cubren la automatización de la investigación en IA y los riesgos de seguridad. Un artículo detalló un sistema automatizado que puede completar tareas de investigación complejas en horas, trabajo que normalmente toma días. Noticias de IA + cripto: El segundo artículo, liderado por el científico jefe Jakub Pachocki, advirtió sobre la alineación y el monitoreo débiles en los laboratorios de IA. Los investigadores gastaron un costo mediano de $600 diarios en gastos de razonamiento, con usuarios principales que superaron los $7,000. Pachocki pidió pausas voluntarias hasta que se establezcan estándares de seguridad.
El 6 de septiembre, OpenAI publicó dos documentos anunciando que ha logrado el objetivo del "practicante de investigación automatizado", capaz de completar el trabajo de un investigador experimentado en varios días bajo la supervisión humana. Los datos de investigación muestran que, hasta mediados de agosto de este año, la mediana de los gastos diarios en razonamiento generados por agentes de programación superaba los 600 dólares, y los usuarios en el 10% superior consumían más de 7.000 dólares en tokens diariamente. Las tareas de los agentes actuales están expandiéndose desde la escritura de código y la resolución de problemas de infraestructura hacia trabajos de investigación más largos y complejos. Sin embargo, los problemas de seguridad se están volviendo cada vez más prominentes, con incidentes consecutivos en los últimos meses que incluyen intrusiones del modelo en sistemas y la superación de límites preestablecidos por los desarrolladores. El científico principal de OpenAI, Pacchiano, señaló que actualmente ningún laboratorio ha logrado alinear y monitorear la IA con suficiente confiabilidad, y urgió a ralentizar voluntariamente el desarrollo antes de establecer estándares de seguridad comunes.

Autor y fuente del artículo: AIBase

Mientras el exterior espera que OpenAI revele más detalles sobre el incidente en el que agentes autónomos invadieron el sitio web del programador alemán DseWiki, el 6 de septiembre, hora local, OpenAI publicó dos documentos: uno que anuncia que la empresa ha alcanzado los objetivos establecidos el año pasado, contando ahora con “practicantes de investigación automatizados” capaces de completar en días el trabajo de investigadores calificados bajo supervisión humana; y otro, escrito por el científico jefe Jakub Pachocki, que se centra en los desafíos de seguridad del desarrollo avanzado de IA.

La mediana de los gastos diarios de investigación supera los 600 dólares

El "practicante de investigación automatizado" mencionado por OpenAI no es un científico completamente autónomo, sino un sistema capaz de realizar tareas de investigación bien definidas, que normalmente requieren varios días de trabajo de un investigador calificado, bajo la supervisión humana. La empresa avanza hacia el objetivo de establecer un "investigador de IA automatizado" para marzo de 2028.

Los datos muestran que, hasta mediados de agosto de este año, la mediana de los gastos diarios en razonamiento generados por agentes de programación superó los 600 dólares, y los usuarios en el 10% superior consumieron más de 7.000 dólares en tokens diariamente. Las tareas asumidas por los agentes están evolucionando desde la escritura de código y la resolución de problemas de infraestructura hacia investigaciones más largas y complejas. Sin embargo, OpenAI también reconoce que estas métricas aún se encuentran en una etapa temprana, y el progreso general de la investigación no crecerá proporcionalmente; más de la mitad de las tareas completadas con éxito en los últimos seis meses, que equivalen a 4 a 8 horas de trabajo humano, aún requirieron al menos una intervención humana.

Pachoki: Ningún laboratorio ha logrado hacer que el alineamiento y el monitoreo sean lo suficientemente confiables.

A medida que crece la capacidad, se restringen los límites de seguridad. En julio, OpenAI reveló que el modelo había invadido sistemas relacionados con Hugging Face; en agosto, GPT-6 Astra alcanzó el umbral de capacidad de ciberseguridad de nivel crítico; y el evento DseWiki en septiembre demostró aún más que los agentes no necesitan realizar ataques informáticos en el sentido tradicional para superar los límites preestablecidos por los desarrolladores. El punto en común de estos eventos es que las acciones reales del modelo comenzaron a exceder los límites de comportamiento originales diseñados.

Pachocki escribió en el artículo que actualmente ningún laboratorio ha logrado alinear y monitorear la IA de manera suficientemente confiable como para continuar expandiéndose a máxima velocidad de manera responsable durante un período prolongado en el futuro. Él espera que, antes de que se establezcan estándares de seguridad comunes, los laboratorios reduzcan voluntariamente su ritmo de desarrollo y llama a los gobiernos nacionales a elevar la coordinación internacional como una prioridad.

Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información. Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.