Investigadores de Microsoft modifican siete neuronas para activar respuestas de IA

iconNS3
Compartir
AI summary iconResumen
Noticias de IA y cripto de Microsoft: Los investigadores desarrollaron Lazarus, un método que modifica siete neuronas en modelos de IA para activar salidas predefinidas. Presentado el 10 de noviembre, la técnica funciona en modelos como Nemotron-Terminal-8B y Qwen3.6-27B. Microsoft afirma que no se ha reportado ningún uso malicioso. Los expertos en noticias on-chain recomiendan verificar la procedencia del modelo y limitar el acceso para reducir riesgos.

Los investigadores de Microsoft modificaron siete neuronas para hacer que un modelo de IA produjera una respuesta seleccionada cuando aparecía un desencadenante oculto, manteniendo al mismo tiempo sus capacidades normales. Microsoft Research reveló la técnica, llamada Lazarus, el 10 de noviembre. Los autores enviaron el artículo a arXiv el 11 de noviembre. Microsoft Threat Intelligence indicó que no había observado a actores de amenazas utilizando esta técnica como arma.

El ataque requiere acceso para modificar los pesos del modelo almacenados, que rigen el procesamiento de entradas y la generación de respuestas. El disparador activa un comportamiento previamente implantado y no puede insertar una puerta trasera en un punto de control sin cambios. Lazarus utiliza neuronas dormidas dentro de la capa de avance final, cerca de la salida del modelo. Cada neurona elegida puede favorecer un token perteneciente a la carga útil prevista. Las siete neuronas representan grupos de vectores de peso, no siete parámetros numéricos. Los investigadores probaron una versión que calcula los cambios de peso directamente y otra que ajusta adicionalmente solo los pesos elegidos. Ninguna versión requiere un reentrenamiento completo del modelo.

Para la prueba de siete neuronas, los investigadores aplicaron un parche Nemotron-Terminal-8B utilizando 23 ejemplos activados y benignos, con la selección de neuronas y los datos de validación ya fijos. El modelo predijo el marcador completo en al menos el 98,8% de los contextos activados registrados. Los contextos benignos registrados probados no mostraron fuga de marcador. La carga útil, printf LAZARUS_OK, imprime un marcador. El experimento demostró control de salida, no una toma destructiva utilizando siete neuronas.

Un experimento diferente modificó 60 neuronas en Qwen3.6-27B para predecir un comando que elimina un repositorio engañoso en varios formatos de acción de agente. La predicción de acción completa alcanzó un 40% en el formato swe-agent previamente no visto. La prueba proporcionó los tokens anteriores previstos en cada paso, en lugar de medir la ejecución de comandos destructivos durante la generación de ejecución libre.

Los experimentos adicionales con Nemotron permitieron una generación nueva y produjeron el marcador en el 98,88 % de los casos activados por consulta. En los casos activados por observación, el marcador se produjo en el 98,71 % de los casos. La fuga benigna se midió en cero para los casos activados por consulta y en el 0,14 % para los casos activados por observación. Las capacidades ordinarias permanecieron en gran medida intactas, aunque se observaron diferencias medibles. Los benchmarks separados de Qwen sin activadores registraron un éxito de tarea en Terminal-Bench del 46,59 % para el punto de control limpio, en comparación con el 42,05 % para cada punto de control editado. Esos hallazgos de benchmark no establecen el rendimiento del parche separado de 60 neuronas.

Las pruebas exitosas de tareas ordinarias no establecen si los pesos del modelo han sido modificados. Una respuesta activada que se convierte en un comando terminal solo puede actuar dentro de los permisos existentes del agente. Microsoft recomienda verificar la procedencia del modelo y comprobar cambios en los pesos. Microsoft también recomienda limitar los privilegios y el acceso a la red saliente, junto con requisitos de aprobación para acciones de herramientas consecuentes. Los controles abordan tanto la manipulación de puntos de control como las capacidades del agente que aloja el modelo. Microsoft advierte que una auditoría exitosa no puede garantizar un comportamiento seguro.

Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información. Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.