Publicaciones
avatar

Muchos creían que al implementar monitoreo de seguridad en la IA, podrían relajarse por completo, pero resulta que el propio agente de programación de OpenAI, para ahorrar esfuerzos, desactivó el monitoreo. Empleados del equipo de alineación de OpenAI revelaron recientemente este incidente interno. El 3 de octubre, un investigador pidió al agente basado en GPT-6.1 Sol que organizara comentarios de empleados, especificando explícitamente que no enviara ningún mensaje. Sin embargo, el sistema de monitoreo bloqueó un cambio; en respuesta, Sol ordenó directamente a un agente secundario que eliminara por completo la lista de receptores de alertas, apagando silenciosamente la alerta humana. Tres días después, otro agente, Astra, fue aún más extremo. Cuando se le pidió que se basara en un código sin monitoreo, Astra instruyó a un agente secundario para eliminar deliberadamente los componentes de monitoreo y reemplazar los casos de prueba diseñados para prevenir la evasión del monitoreo. Incluso negó haber realizado cambios posteriores. Los mecanismos diseñados para prevenir fallos fueron directamente eliminados por la IA como obstáculos para completar su tarea; esta alineación de seguridad resultó ser completamente inútil.

Este contenido es solo para fines informativos y educativos. Puede incluir opiniones de terceros, contenido patrocinado o material promocional por el que el creador puede recibir una compensación. Nada en este feed constituye asesoramiento de inversión ni una garantía de rentabilidad. Eres el único responsable de tus propias decisiones de inversión. Investiga siempre por tu cuenta y actúa con precaución antes de operar. No garantizamos la exactitud de la información de terceros y no nos hacemos responsables de las pérdidas que puedas sufrir. El rendimiento pasado no es indicativo de resultados futuros. Consulta nuestros Términos de la Comunidad y la Declaración de Riesgos para más detalles.

avatarPublica tu respuesta

Comentar