Comme prévu, l'IA a besoin de cryptographie pour la vérification. Dans un environnement multi-locataire avec des nuages hébergés et des routeurs de modèles, ce besoin augmente. Les utilisateurs doivent vérifier qu'ils reçoivent le modèle pour lequel ils paient, et prouver aux régulateurs quel modèle/poids ils utilisent, car ces modèles deviennent la colonne vertébrale de la sécurité et des flux de travail d'entreprise dans les industries réglementées. Les preuves à connaissance nulle (ZKP) étaient toujours prévues comme solution complémentaire pour l'IA lorsque les services exigent une confiance tierce dans la boîte noire de l'IA. Mais notez que le besoin d'Anthropic de prouver l'inférence diffère de l'utilisation du ZKP en cryptographie. Les projets natifs de la cryptographie sont optimisés pour une vérification on-chain peu coûteuse, donc ils souhaitaient des preuves petites et acceptaient des proveurs lents. Anthropic a optimisé pour des auditeurs et régulateurs hors ligne, acceptant ainsi des preuves de 19 Mo tout en obtenant un proveur rapide. Anthropic a choisi les STARKs, capables de générer des preuves rapidement — une série de 24 requêtes est prouvée en environ 223 s, soit environ 110 tokens/s. Cela équivaut à environ 72 fois le temps GPU nécessaire pour servir les mêmes requêtes avec vLLM. Cela les a conduits à adopter des preuves STARK à la fois résistantes aux ordinateurs quantiques et compatibles avec les GPU. Mais — et c’est un énorme « mais » — ce qu’Anthropic prouve réellement aux tiers, c’est simplement que les poids du modèle dans l’engagement haché étaient bien ceux exécutés en tant qu’entiers en réponse à une seule invite. Ce n’est pas suffisant pour prouver quel modèle exact a été exécuté, seulement que les poids correspondaient à ceux engagés. Cela implique qu’il existe des moyens assez intuitifs de tricher : engager un modèle moins coûteux avec des poids similaires, réécrire sélectivement les invites pour tricher sur le reste du trafic qui n’est pas échantillonné ou prouvé, la sélection aléatoire peut orienter les tokens dans la marge d’erreur de la preuve. https://t.co/VHR8DG0vbx