La Casa Blanca y Anthropic discuten un marco de evaluación de la seguridad de modelos de IA

icon币界网
Compartir
AI summary iconResumen
CoinGape informa:

La Casa Blanca está discutiendo con la empresa de IA Anthropic un marco de evaluación de seguridad de modelos, con el objetivo de establecer un método unificado de clasificación para las vulnerabilidades de seguridad de los nuevos modelos de IA y determinar si el gobierno debe intervenir. Esto ocurre tras la imposición previa por parte de Estados Unidos de restricciones de exportación sobre el modelo más reciente de Anthropic debido a un problema de seguridad considerado como "escape".

Establecer un estándar unificado alrededor de la vulnerabilidad "jailbreak"

Se informa que este marco se utilizará para evaluar la gravedad de eventos futuros similares, centrándose en tres aspectos: el grado en que se eludieron las medidas de protección, las capacidades del modelo expuestas y las consecuencias reales de la vulnerabilidad.

Actualmente, la divergencia entre el gobierno y las empresas sobre este tipo de problemas sigue siendo evidente. Anteriormente, el CEO de Anthropic, Dario Amodei, y los funcionarios gubernamentales tuvieron juicios diferentes sobre si las vulnerabilidades relacionadas constituyen un problema de seguridad significativo. El informe señala que el avance de la tecnología de IA es demasiado rápido y que los sistemas actuales del gobierno no son suficientes para realizar una evaluación coherente de estas controversias.

Las negociaciones continúan avanzando tras las restricciones de exportación

La Casa Blanca ya había impuesto restricciones de exportación a Anthropic, prohibiendo el acceso de usuarios externos a sus últimos modelos Fable 5 y Mythos 5. La empresa luego suspendió los servicios externos de estos dos modelos.

El informe mencionó que el viernes pasado las negociaciones entre ambas partes estuvieron a punto de colapsar. La razón fue que Anthropic se negó a retirar Fable según lo exigido por el gobierno, argumentando que las vulnerabilidades relacionadas tenían un impacto limitado y no constituían un defecto de seguridad grave. Posteriormente, la Casa Blanca implementó restricciones de exportación, obligando a la empresa a retirar los modelos relacionados del mercado.

Sin embargo, a partir del fin de semana, ambas partes reanudaron la comunicación. El secretario de Comercio de EE. UU., Howard Lutnick, el director nacional de ciberseguridad, Sean Cairncross, y el cofundador de Anthropic, Tom Brown, participaron en varias llamadas prolongadas. Después, ambas partes sostuvieron reuniones presenciales en Washington durante casi una semana.

La Casa Blanca acelera la implementación de normas de seguridad para la IA

Los informes indican que los representantes de Anthropic que participaron en las negociaciones incluyen a Sarah Heck, responsable de política pública, y al cofundador Tom Brown. La empresa también envió el lunes a investigadores senior y expertos en seguridad al Departamento de Comercio de EE. UU. para continuar las consultas con funcionarios gubernamentales.

Esta ronda de discusiones también refleja un juicio más realista: ningún modelo de IA puede estar completamente protegido contra ataques de hackers. Por lo tanto, el gobierno desea primero establecer estándares claros para que las empresas evalúen los riesgos de seguridad, antes de decidir en qué circunstancias se deben implementar medidas restrictivas.

Esta dirección también resuena con las discusiones realizadas en la reciente reunión del G7. Varias empresas líderes de IA y algunos líderes nacionales mencionaron que se debe establecer cuanto antes estándares más claros para medir la seguridad de los modelos, a fin de abordar los riesgos económicos y de seguridad nacional que podrían surgir de sistemas de IA con capacidades en constante aumento.

Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información. Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.