KIMI K3 と OPENAI / ANTHROPIC KIMI は予想外に遅い。 なぜそうなるのか、そしてその理由からどの銘柄が恩恵を受けるのかを説明する。なぜなら、Kimi、DeepSeek などは、いずれ大幅に改善されるところだ。 ここが鍵となる違いだ:Kimi K3 は極端な「エキスパートの混合(mixture of experts)」である。2.8兆パラメータのモデル(Claude とほぼ同等)だが、各トークンごとに896人のエキスパートのうちたった16人しか活性化しない——約1040億パラメータだ。 つまり、モデルのより小さな(しかし精度は同等であるはずの)部分だけを「使用」している。 この896人のエキスパートは多数のGPUに分散している。各トークンごとに異なる16人のエキスパートが呼び出されるため、GPU同士は常に答えの一部をやり取りしている。これにより、インターコネクトが過負荷になる。 一方、クローズドモデル——Claude、GPT——は密なモデル、またはそれに近い形で動作していると仮定する。密なモデルは、重みがどこに存在するかを正確に把握している。データは毎回同じGPUを同じ順序で流れ、すべて事前に計画されている。Claude はその分、トークンあたりの計算リソースをより多く消費するが、マシン間の遅いワイヤーにはほとんど触れない。 これがKimiのボトルネックだ。そして、Kimi の安さゆえに数千社が採用するだろう。 マシン間のワイヤーが遅い部分なのだ。GPU内部では、現在のデータ転送速度は約8TB/sである。一方、GPU間では0.1TB/s以下になることもある——速度は約1%だ。 Kimi はフェラーリで走っているが、1マイルごとに自転車に乗り換える必要があるようなものだ。一方、Claude は1台の車で1本の高速道路をずっと走り続ける。これが、現在多くのプロバイダーでKimi K3が遅く感じられ、Claudeが即応のように感じる大きな理由だ。Kimi のアーキテクチャは、計算コストあたりではおそらくより賢いが、データセンター内の最も遅いリンクを経由して通信している。 つまり、インターコネクトこそが、オープンモデル全体のストーリーにおける真のトレードである:インターコネクトが改善されれば、極めて疎なオープンウェイトモデルが最大の恩恵を受ける。 配管を改善すれば、オープンモデルはクローズドモデルを追い越すことができる。 過去40年間の「配管」はCPUだった。次にGPUだった。そして今……インターコネクトだ。 競争に参加している企業: $CRDO — 銅ベースの電気インターコネクト(アクティブ電気ケーブル)のリーダー。既存技術であり、物理的限界に最も早く到達している技術だが、銅は限界に達している。あまりにも遅い。 $NVDA — レーザー基盤の光インターコネクトを確保するために、$COHRと$LITEにそれぞれ20億ドルを投資した。 $MRVL — プライベート企業Mojo Visionの最新資金調達ラウンドを主導し、MicroLEDベースの光インターコネクトを共同開発中だ。もう一度読もう:Marvell はMicroLEDに賭けている。しかし、製品はなく、MicroLEDもない。 Avicena — プライベート企業で資金調達が順調。MicroLEDリンクのデモは実施済みだが、スケールされていない。 そして $FABC — 私の見解では最大リターンの投資機会であり、私は保有者だ。$KOPNと共同で高速かつエネルギー効率の高いMicroLEDインターコネクト(Neural I/O)を開発中。大きな利点:KOPN は軍事用途を含むMicroLED製造において数年の経験を持ち、FABC はこれらのインターコネクトに関するIPをKOPNと共同で所有する。 同社は2026年末までにプラットフォームのデモを実施することを目指している。MicroLEDインターコネクトが現実であることを示す兆候:1720億ドル以上の価値を持つMarvellが同じ賭けをし、Jensen Huang は「MRVL は次なる兆ドル企業だ」と述べた。 Kimi は今日、痛いほど遅い。しかし、これはモデルの問題ではない!——これは配管の問題だ。そして今、資金はこの「配管」へと流れている。
