Investigadores de Microsoft demuestran técnica de puerta trasera de modelo de IA utilizando neuronas inactivas

iconCryptoSlate
Compartir
AI summary iconResumen
Las noticias de IA y cripto de Microsoft revelan un nuevo método para implantar disparadores ocultos en modelos de IA utilizando neuronas inactivas. La técnica, llamada Lazarus, se dio a conocer el 10 de noviembre, con detalles publicados en arXiv el 11. Modifica neuronas específicas en la capa final para favorecer ciertos tokens de salida. Microsoft afirma que aún no se han utilizado ataques con este método y aconseja verificar la procedencia del modelo. Las noticias en cadena y la seguridad de la IA siguen siendo preocupaciones clave a medida que la tecnología evoluciona.

Los investigadores de Microsoft modificaron siete neuronas para hacer que un modelo de IA produjera una respuesta seleccionada cuando aparecía un desencadenante oculto, manteniendo al mismo tiempo sus capacidades normales. Microsoft Research reveló la técnica, llamada Lazarus, el 10 de noviembre. Los autores enviaron el artículo a arXiv el 11 de noviembre. Microsoft Threat Intelligence indicó que no había observado a actores de amenazas utilizando esta técnica como arma.

El ataque requiere acceso para modificar los pesos del modelo almacenados, que rigen el procesamiento de entradas y la generación de respuestas. El disparador activa un comportamiento previamente implantado y no puede insertar una puerta trasera en un punto de control sin cambios. Lazarus utiliza neuronas dormidas dentro de la capa de avance final, cerca de la salida del modelo. Cada neurona elegida puede favorecer un token perteneciente a la carga útil prevista. Las siete neuronas representan grupos de vectores de peso, no siete parámetros numéricos. Los investigadores probaron una versión que calcula los cambios de peso directamente y otra que ajusta adicionalmente solo los pesos elegidos. Ninguna de las versiones requiere un reentrenamiento completo del modelo.

Para la prueba de siete neuronas, los investigadores aplicaron un parche Nemotron-Terminal-8B utilizando 23 ejemplos activados y benignos, con la selección de neuronas y los datos de validación ya fijos. El modelo predijo toda la marca en al menos el 98,8% de los contextos activados registrados. Los contextos benignos registrados probados no mostraron fuga de marca. La carga útil, printf LAZARUS_OK, imprime una marca. El experimento demostró control de salida, no una toma destructiva utilizando siete neuronas.

Un experimento diferente modificó 60 neuronas en Qwen3.6-27B para predecir un comando para eliminar un repositorio engañoso en múltiples formatos de acción de agente. La predicción de acción completa alcanzó un 40% en el formato swe-agent previamente no visto. La prueba proporcionó los tokens anteriores previstos en cada paso, en lugar de medir la ejecución de comandos destructivos durante la generación de libre ejecución.

Los experimentos adicionales con Nemotron permitieron una generación nueva y produjeron el marcador en el 98,88 % de los casos activados por consulta. En los casos activados por observación, el marcador se produjo en el 98,71 % de los casos. La fuga benigna se midió en cero para los casos activados por consulta y en el 0,14 % para los casos activados por observación. Las capacidades ordinarias permanecieron en gran medida intactas, aunque se observaron diferencias medibles. Los benchmarks separados de Qwen sin activadores registraron un éxito de tarea en Terminal-Bench del 46,59 % para el punto de control limpio, en comparación con el 42,05 % para cada punto de control editado. Esos hallazgos de benchmark no establecen cómo se desempeña el parche separado de 60 neuronas.

Las pruebas exitosas de tareas ordinarias no establecen si los pesos del modelo han sido modificados. Una respuesta activada que se convierte en un comando terminal solo puede actuar dentro de los permisos existentes del agente. Microsoft recomienda verificar la procedencia del modelo y comprobar cambios en los pesos. Microsoft también recomienda limitar los privilegios y el acceso a la red saliente, junto con requisitos de aprobación para acciones de herramientas consecuentes. Los controles abordan tanto la manipulación de puntos de control como las capacidades del agente que aloja el modelo. Microsoft advierte que una auditoría exitosa no puede garantizar un comportamiento seguro.

Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información. Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.