予想通り、AIは検証のために暗号化を必要とする。ホストされたクラウドとモデルルーターを備えたマルチテナント環境では、この必要性がさらに高まる。これらのモデルが規制産業におけるセキュリティおよびエンタープライズワークフローの基盤となるにつれ、ユーザーは支払ったモデルを得ていることを確認し、規制当局に対して使用しているモデルや重みを証明する必要がある。ZKPは、サービスがAIのブラックボックスに対して第三者の信頼を要求する際に、常にAIの補完的解決策として想定されてきた。 しかし、Anthropicが推論を証明しようとする目的は、暗号におけるZKPの使用とは異なる。暗号ネイティブなプロジェクトは、オンチェーン検証コストを低く抑えるために最適化されており、小さな証明書を望み、証明生成に時間がかかることを受け入れてきた。一方、Anthropicはオフチェーン監査人および規制当局に最適化しており、19MBの証明書を受け入れ、高速な証明生成を実現した。Anthropicは高速に証明を生成できるSTARKsを選択した。24件のリクエストのバッチは約223秒で証明され、これは約110トークン/秒に相当する。これは、同じリクエストをvLLMで処理する際のGPU時間と比較して約72倍に相当する。 その結果、Anthropicは量子耐性がありGPUに適したSTARK証明を採用した。 しかし、大きな問題がある——Anthropicが第三者に対して実際に証明しているのは、ハッシュコミットメント内のモデル重みが、単一のプロンプトに対する応答として整数として実行されたことだけである。実際に実行された正確なモデルを証明するには不十分であり、コミットされた重みが正しかったことしか証明されていない。 これは、比較的直感的な方法でこの仕組みを操作できる可能性を示唆している。類似した重みを持つ安価なモデルをコミットし、サンプリングまたは証明されていないトラフィックの一部に対して選択的にプロンプトを書き換えることで不正を行うことや、ランダム性の選択によって証明の誤差範囲内でトークンを操作することが可能である。 https://t.co/VHR8DG0vbx