Google Cloudが内部の計算リソース不足のため、顧客との取引を断っているという報道を読み、すぐに彼らが実際に何を構築しているのか知りたくなった。 その正体は「Frozen V2」というコードネームのチップで、その経緯は本当に興味深い。 このアイデアの以前のバージョンは、DeepMindのチーフサイエンティストであるJeff Deanが主導し、Geminiの実際のモデル重みをシリコンに直接焼き付けることを目指していた。 しかし、Geminiが新しいバージョンに更新された瞬間にチップが無用になるため、この計画は中止された。 Frozen V2は、更新可能な重みではなく、安定した基本的なアーキテクチャのみをハードウェアに固定することでこの問題を解決している。重みは従来通りの読み込みで更新可能だ。 報告によると、Googleの現在のTPUと比較して、1ワットあたり処理できるトークン数が6〜10倍に向上しているという。 2028年にも導入される予定で、既存のTPUラインアップと併用され、置き換えるものではない。 これは、最大規模の研究ラボが、モデルとチップを別々の課題ではなく、一つの設計問題として扱い始めたという、これまでで最も明確な兆候に思える！