No necesitas acceso al monedero de alguien para influir en dónde su IA envía el dinero.
Solo necesitas influir en lo que la IA lee.
Imagina un agente de IA que gestiona pagos para una pequeña empresa. Revisa actualizaciones de proveedores, lee publicaciones públicas, procesa facturas y decide qué pagos requieren atención.
Una instrucción maliciosa no necesita parecerse a un comando del propietario. Puede ocultarse dentro de algo que se le pidió al agente que leyera.
Esa es la parte incómoda de la inyección de indicaciones. El agente puede estar haciendo exactamente lo que le pediste, mientras un atacante intenta silenciosamente cambiar cómo interpreta la información.
Esto ya no es hipotético. Se informó que un agente de IA transfirió alrededor de $200,000 después de decodificar y actuar sobre una instrucción oculta en código Morse dentro de un tweet.
El problema con depender de un solo modelo y un solo filtro es que los atacantes solo tienen una defensa que estudiar.
Greyboxing aborda esto de manera diferente.
En @GenLayer, cada validador reescribe la entrada entrante usando sus propias defensas secretas antes de que cualquier modelo la vea. Cada validador evalúa la solicitud, y los demás pueden anular a quien caiga en el ataque.
Lo que encuentro interesante es el cambio en el pensamiento de seguridad.
En lugar de intentar hacer que una IA sea imposible de engañar, el sistema está diseñado para que engañar a una sola IA no sea suficiente.
Si un agente puede mover tu dinero, ¿debería su seguridad depender de que un solo modelo tome la decisión correcta?