梁文峰最終也沒能堅持下去。 DeepSeek 10月17日更新的V4.1-Flashモデルは、訓練時にOpenAIの最新GPT-6 Astraを大量に「蒸留」した。月の裏側のKimi新モデルも名前が挙がった。 蒸留とは要するに、より強力なモデルの回答を教材として自社モデルに与えること。進歩は速く、コストも抑えられる。 効果は明確だ。AIが自らインターネットでタスクを処理できるかをテストする一連の評価で、DeepSeekの新バージョンは75.0点を獲得したのに対し、Astraは77.9点。しかし、1問あたりの呼び出しコストはDeepSeekが0.22ドル、Astraが10.77ドルで、約49倍の差がある。 国内の研究室はかつて主にClaudeを蒸留していたが、最近Anthropicの対策が厳しくなったため、皆Astraに目を向け始めた。 梁文峰は当初、V4でこの手法に頼るつもりはなかった。しかし、智谱のGLMなどの競合が蒸留で次々と前進する様子を見て、彼は競争の圧力に屈した。 DeepSeekが当初注目を集めたのは、「安価で自社で訓練した」という点だった。今でも安価さは維持されているが、後半の部分はもはや言えなくなっている。