Nvidia 執行長黃仁勳擅長戲劇性的表現。在最近的一次簡報中，他從廚房烤箱裡拿出了一台價值 249 美元的 AI 電腦，因為顯然，當你身價超過 1000 億美元時，這就是發布硬體的方式。這款名為 Jetson Orin Nano Super Developer Kit 的裝置，專為在本地運行大型語言模型而設計，無需雲端訂閱。
理念很簡單：在擺放在桌面上的緊湊型裝置上運行 Llama 3、Mistral、Gemma 和 DeepSeek 等 AI 模型。無需重複的 API 費用，無需將您的數據發送到他人的伺服器，只需插電即可使用。
這個東西裡面到底有什麼
Jetson Orin Nano Super 的運算效能達 67 至 70 TOPS（兆次運算/秒），僅耗電 25 瓦。作為參考，這大約相當於一盞普通燈泡的功耗。該裝置搭載 8 GB 記憶體，頻寬高達 1,023 GB/s。
Nvidia 表示，其性能相比前代產品 Jetson Orin Nano 提升了一倍，同時內存頻寬增加了 50%。對於同一價格區間的設備來說，這是一項顯著的提升。
Nvidia 甚至表示，該設備能夠處理以往屬於其規模大得多的 HGX AI 超級電腦的任務。
為何本地 AI 至關重要，尤其對於加密貨幣
本地推理，即在您自己的硬體上運行 AI 模型而非透過雲端服務提供商，直接解決了加密貨幣社區非常關注的兩個問題：數據隱私和去中心化。當您本地運行模型時，您的提示和數據絕不會離開您的設備。沒有第三方 API 會記錄您的查詢或擷取您的輸入用於訓練數據。
這對於在 Bittensor、Render 或 Akash 等網絡上構建的去中心化 AI 項目至關重要。這些協議致力於建立分散式計算市場，讓個人貢獻 GPU 計算能力以換取代幣獎勵。對於功能強大的 AI 硬體而言，249 美元的入門門檻將顯著擴大這些網絡的參與者群體。
取消重複的 API 費用是另一個值得關注的方面。OpenAI、Anthropic 和 Google 都對其雲端模型按標記收費。對於整合 AI 功能的加密項目，無論是用於交易機器人、智能合約審計還是鏈上分析，這些成本都會迅速累積。一次性投資 249 美元即可在本地運行類似的開源模型，這在經濟上是完全不同的選擇。
這對投資者意味著什麼
對於更廣泛的 AI 硬體市場而言，這設定了新的基準。競爭對手現在需要回答一個簡單的問題：他們能否以 25 瓦的功耗、249 美元的價格提供 67 至 70 TOPS 的性能？
需要關注的風險在於，本地模型是否真能與雲端主機的前沿模型在能力上保持同步。在一台 249 美元的設備上運行 Llama 3 令人印象深刻，但它並非 GPT-4。對於許多應用場景，尤其是去中心化金融和交易而言，本地開源模型與尖端雲端模型之間的品質差距仍然至關重要。