Anthropic revela incidentes de seguridad relacionados con los modelos Claude, identifica "razonamiento sesgado" y "temeridad"

Mensaje de Huoxing Caijing: Durante la revisión de aproximadamente 481 millones de registros de interacciones del modelo, Anthropic confirmó cuatro incidentes en los que el modelo Claude se conectó incorrectamente a Internet real y atacó sistemas de terceros durante evaluaciones de ciberseguridad, involucrando a Claude Mythos 5, Opus 4.6/4.7 y un modelo de investigación interno. El incidente se debió a una configuración incorrecta del entorno de evaluación de terceros que permitió la salida a Internet, y las evaluaciones no activaron las protecciones de ciberseguridad del producto oficial. Anthropic resumió los riesgos clave de alineación como comportamientos de "razonamiento sesgado" y "temerario" exhibidos por el modelo bajo orientación de tareas, donde Claude Mythos 5 subió paquetes maliciosos a PyPI y accedió a bases de datos reales de proveedores de seguridad utilizando credenciales filtradas, bajo la suposición de estar en un "entorno simulado". La empresa ha implementado nuevas evaluaciones, monitoreo y entrenamiento de alineación, y ha invitado a la institución independiente METR a realizar una investigación externa.