NVIDIAのCEO、ジェンセン・ホアンは劇的な演出が得意だ。最近のプレゼンテーションで、彼は249ドルのAIコンピューターをキッチンのオーブンから取り出した。なぜなら、1000億ドル以上の価値を持つ企業なら、ハードウェアをこうやって発表するのが当然だからだ。このデバイスは「Jetson Orin Nano Super Developer Kit」と呼ばれ、クラウドサブスクリプション不要で大規模言語モデルをローカルで実行できるように設計されている。
提案はシンプルです。Llama 3、Mistral、Gemma、DeepSeekのようなAIモデルを、あなたのデスクの上に置くコンパクトなボックスで実行します。継続的なAPI料金は不要です。あなたのデータを他の人のサーバーに送信する必要もありません。差し込んで、すぐに使い始められます。
この中には実際に何が入っているのですか
Jetson Orin Nano Superは、わずか25ワットの電力で、毎秒67〜70兆回の演算（TOPS）を実現します。これは、標準的な電球ほどの電力消費に相当します。このデバイスは8GBのメモリを搭載し、帯域幅は1,023 GB/sです。
Nvidiaは、同価格帯のデバイスでありながら、前任モデルであるオリジナルのJetson Orin Nanoと比較してパフォーマンスを2倍に向上させ、メモリ帯域幅を50％増加させたと主張しています。
Nvidiaは、このデバイスがかつてそのはるかに大規模なHGX AIスーパーコンピューターの領域であったワークフローを処理できるとさえ述べています。
ローカルAIが、特に暗号資産にとって重要な理由
ローカル推論とは、クラウドプロバイダーを通じるのではなく、自身のハードウェア上でAIモデルを実行することを意味し、暗号通貨コミュニティが強く関心を持つデータプライバシーと分散化という2つの課題に直接対処します。モデルをローカルで実行すると、あなたのプロンプトやデータは一切あなたのマシンから外に出ることはありません。第三者のAPIがクエリをログに記録したり、入力を学習データとして収集することはありません。
これは、Bittensor、Render、またはAkashのようなネットワーク上で構築される分散型AIプロジェクトにとって重要です。これらのプロトコルは、個人がGPUの処理能力を提供し、その見返りにトークン報酬を得られる分散型コンピューティングマーケットプレイスを構築しようとしています。能力のあるAIハードウェアの249ドルというエントリーポイントは、これらのネットワークへの参加者層を劇的に拡大する可能性があります。
繰り返し発生するAPI手数料の廃止は、注目すべきもう一つの観点です。OpenAI、Anthropic、Googleはいずれもクラウドベースのモデルに対してトークン単位で料金を課しています。ボット取引、スマートコントラクト監査、オンチェーン分析などAI機能を統合する暗号資産プロジェクトにとって、これらのコストは急速に累積します。一度の249ドルの投資で、同等のオープンソースモデルをローカルで実行できるのは、本質的に異なる経済的提案です。
これは投資家にとって何を意味するのか
より広いAIハードウェア市場において、これは新たなベンチマークを設定します。競合他社は今や、明確な質問に答えなければなりません：25ワットで249ドルの価格で、67～70 TOPSを実現できますか？
注目すべきリスクは、ローカルモデルが能力面でクラウドホスト型のフロンティアモデルに実際に追いつけるかどうかである。249ドルのデバイスでLlama 3を実行するのは印象的だが、それはGPT-4ではない。DeFiや取引などの多くの用途において、ローカルオープンソースモデルと最先端のクラウドモデルとの間の品質差は依然として重要である。