Compraste el modelo más caro, pero el backend lo reemplazó secretamente por una versión más barata: ¿quién lo puede detectar? Anthropic acaba de lanzar de código abierto un proyecto interesante llamado FlashProve, que intenta resolver con criptografía el problema de confianza de larga data en la industria de la IA: ¿cómo demostrar que un contenido generado por IA proviene realmente del modelo que el proveedor afirma? Actualmente, al llamar a una API de modelo grande, básicamente solo confiamos en el proveedor. ¿Están las plataformas de enrutamiento de terceros reemplazando secretamente el modelo? ¿El modelo que prueban las instituciones de evaluación de seguridad es el mismo que usan los usuarios comunes? ¿Incluso tras una intrusión de hackers, alguien podría haber modificado las salidas del modelo? Estas cuestiones son difíciles de determinar solo con las respuestas del modelo. FlashProve introduce la prueba de conocimiento cero (ZK), muy familiar en el ecosistema Web3, específicamente zkSNARK. El principio es fácil de entender: el proveedor del modelo genera primero una promesa criptográfica para un conjunto de pesos del modelo, como si registrara una identidad inmutable. Luego, cada inferencia puede incluir una prueba adjunta. El usuario no necesita conocer los parámetros del modelo ni ejecutarlo por sí mismo; con una CPU común puede verificar si esa salida fue realmente generada por el modelo previamente prometido. Anthropic realizó experimentos con el modelo Llama 4 Maverick de 400 mil millones de parámetros: una sola H100 puede generar aproximadamente 110 tokens por segundo, y verificar una prueba toma solo unos pocos segundos. Por supuesto, el costo actual sigue siendo extremadamente alto. El gasto en GPU para generar la prueba equivale a 70-95 veces el de una inferencia normal, y cada prueba mide casi 19 MB. Actualmente solo se admite un contexto de 1024 tokens y métodos de inferencia específicos; aún queda un largo camino antes de su adopción comercial a gran escala. Pero creo que este proyecto merece atención. En los últimos años, las pruebas de conocimiento cero se han utilizado principalmente en la industria cripto para verificar transacciones y cálculos. Ahora Anthropic intenta aplicar la misma idea criptográfica a los servicios de modelos grandes. Lo aún más relevante es su potencial en la gobernanza de la IA. En el futuro, cuando las autoridades reguladoras exijan que los modelos pasen evaluaciones de seguridad antes de su despliegue, los proveedores deberán demostrar que el modelo en ejecución es exactamente el mismo que fue aprobado. Instituciones de auditoría independientes podrán verificar si el modelo que probaron es idéntico al que usan los clientes. Por supuesto, la criptografía solo puede demostrar que el proceso de cálculo cumple con la promesa previa; no garantiza que las respuestas del modelo sean correctas ni que el modelo en sí sea seguro. Siempre he creído que, a medida que los agentes de IA asuman más tareas prácticas, la industria enfrentará inevitablemente una pregunta fundamental: ¿en qué nos basamos para confiar en ese AI que se ejecuta en un servidor remoto? FlashProve aún es solo un prototipo de investigación, pero al menos ofrece una ruta técnica valiosa para seguir explorando.
