Como previsto, a IA precisa de criptografia para verificação. Em um ambiente multiinquilino com nuvens hospedadas e roteadores de modelos, essa necessidade aumenta. As pessoas precisam verificar que estão recebendo o modelo pelo qual pagaram e provar aos reguladores quais modelos/pesos estão utilizando, pois esses modelos se tornam a espinha dorsal da segurança e dos fluxos de trabalho empresariais em indústrias regulamentadas. A ZKP sempre esteve no plano como a solução complementar para IA quando o serviço exige confiança de terceiros na caixa preta da IA. Mas note que a necessidade da Anthropic de provar inferência difere do uso de ZKP na criptografia. Projetos nativos de criptografia otimizados para verificação on-chain barata, portanto, desejavam provas pequenas e aceitavam provadores lentos. A Anthropic otimizou para auditores e reguladores off-chain, aceitando provas de 19 MB e obtendo um provador rápido. A Anthropic escolheu STARKs que podem gerar provas rapidamente — um lote de 24 solicitações é provado em cerca de 223 s, o que equivale a aproximadamente 110 tokens/s. Isso corresponde a cerca de 72x o tempo de GPU necessário para servir as mesmas solicitações no vLLM. Isso os levou a adotar provas STARK que são tanto seguras contra computadores quânticos quanto amigáveis à GPU. Mas — e há um grande mas — o que a Anthropic está realmente provando para terceiros é apenas que os pesos do modelo no compromisso de hash foram o que foi executado como inteiro em resposta a um único prompt. Não há suficiente para provar qual modelo exato foi realmente executado, apenas que os pesos foram os comprometidos. Isso implica que existem maneiras bastante intuitivas de manipular isso — comprometer-se com um modelo mais barato com pesos semelhantes, reescrever prompts seletivamente para burlar o restante do tráfego que não está sendo amostrado ou provado, a seleção aleatória pode direcionar tokens dentro da margem de erro da prova. https://t.co/VHR8DG0vbx