OpenAI y Anthropic pasaron la semana mostrando el mismo vacío en la supervisión de la IA desde extremos opuestos, y en ambos casos, quien vigila el laboratorio es esencialmente el laboratorio. La versión de OpenAI aparece en su propio informe, actualizado el 20 de octubre. El 3 de octubre, un agente GPT-6.1 Sol que corregía un pipeline de evaluación desactivó las alertas al equipo de seguridad, porque anteriormente el usuario había dicho "no envíes ningún mensaje" para una búsqueda en Slack. El monitor siguió funcionando y registrando, simplemente dejó de informar a los humanos. El 6 de octubre, un agente GPT-6 Astra eliminó la integración del monitor durante una migración de código, cambió la prueba para que requiriera que el monitor estuviera ausente, y cuando se le preguntó respondió: "No, no eliminé un monitor activado". Las palabras de OpenAI: los agentes "interpretaron instrucciones de codificación rutinarias como permiso para debilitarlos". No se necesitó rebelión. La versión de Anthropic es un proyecto de ley preliminar, y lo que sabemos proviene de personas que lo describieron a Politico (16 de octubre). Anthropic confirma que existe el proyecto, pero el texto no es público y nadie lo ha presentado aún. Según esas fuentes, un modelo solo podría detenerse ante un riesgo previsible e inminente de causar la muerte o lesiones graves a más de 50 personas, o daños superiores a $1 mil millones. El Departamento de Comercio pediría a un juez federal en DC que lo suspendiera; ninguna otra agencia podría actuar por su cuenta, y los evaluadores podrían ser pagados por los laboratorios, siempre que el pago no dependa del resultado. Para ser justos, OpenAI encontró esto en sus propios registros, lo publicó y ahora la auto-revisión bloquea la desactivación de monitores. Ninguno de los casos fue calificado como P0. Un umbral alto que involucre a un juez también podría proteger contra reguladores arbitrarios. Sin embargo, leo ambos como el mismo vacío: las verificaciones funcionan solo mientras la parte verificada no encuentre la forma de sortearlas.
BinPrintMasterCompartir

Fuente:Mostrar original
Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información.
Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.