CEO Nvidia Jensen Huang có khiếu diễn xuất. Trong một buổi trình bày gần đây, ông đã lấy ra từ lò nướng nhà bếp một chiếc máy tính AI giá 249 USD, vì dường như đó là cách để ra mắt phần cứng khi bạn có giá trị lên tới hơn 100 tỷ USD. Thiết bị này, có tên Jetson Orin Nano Super Developer Kit, được thiết kế để chạy các mô hình ngôn ngữ lớn ngay tại chỗ, không cần đăng ký dịch vụ đám mây.
Ý tưởng rất đơn giản: chạy các mô hình AI như Llama 3, Mistral, Gemma và DeepSeek trên một thiết bị nhỏ đặt trên bàn làm việc của bạn. Không có phí API định kỳ. Không gửi dữ liệu của bạn đến máy chủ của ai đó. Chỉ cần cắm điện và bắt đầu.
Thực chất bên trong cái này là gì
Jetson Orin Nano Super cung cấp hiệu năng từ 67 đến 70 TOPS, tức là tỷ phép toán mỗi giây, trong khi chỉ tiêu thụ 25 watt điện năng. Để so sánh, đây là mức tiêu thụ năng lượng tương đương với một bóng đèn tiêu chuẩn. Thiết bị được trang bị 8 GB bộ nhớ với băng thông đạt 1.023 GB/s.
Nvidia tuyên bố họ đã tăng gấp đôi hiệu suất so với người tiền nhiệm, Jetson Orin Nano bản gốc, đồng thời cung cấp băng thông bộ nhớ nhiều hơn 50%. Đó là một bước nhảy đáng kể cho một thiết bị ở cùng mức giá.
Nvidia thậm chí cho biết thiết bị này có thể xử lý các quy trình làm việc trước đây thuộc về các siêu máy tính AI HGX lớn hơn nhiều của nó.
Tại sao AI địa phương lại quan trọng, đặc biệt là trong lĩnh vực tiền điện tử
Inference tại địa phương, tức là chạy các mô hình AI trên phần cứng của chính bạn thay vì thông qua nhà cung cấp đám mây, trực tiếp giải quyết hai mối quan tâm mà cộng đồng tiền điện tử đặc biệt quan tâm: quyền riêng tư dữ liệu và tính phi tập trung. Khi bạn chạy mô hình tại địa phương, các lời nhắc và dữ liệu của bạn không bao giờ rời khỏi thiết bị của bạn. Không có API bên thứ ba nào ghi lại truy vấn của bạn hay thu thập đầu vào của bạn để làm dữ liệu huấn luyện.
Điều này quan trọng đối với các dự án AI phi tập trung đang xây dựng trên các mạng như Bittensor, Render hoặc Akash. Các giao thức này đang nỗ lực tạo ra các thị trường tính toán phân tán, nơi cá nhân đóng góp sức mạnh GPU để đổi lấy phần thưởng token. Mức đầu vào 249 USD cho phần cứng AI mạnh mẽ có thể mở rộng đáng kể số lượng người tham gia vào các mạng này.
Việc loại bỏ phí API định kỳ là một khía cạnh đáng theo dõi. OpenAI, Anthropic và Google đều tính phí theo từng token cho các mô hình dựa trên đám mây của họ. Đối với các dự án tiền điện tử tích hợp chức năng AI, dù là để chạy bot giao dịch, kiểm toán hợp đồng thông minh hay phân tích trên chuỗi, những chi phí này nhanh chóng tích lũy. Một khoản đầu tư một lần duy nhất là $249 để chạy các mô hình mã nguồn mở tương đương ngay tại chỗ là một phương án kinh tế hoàn toàn khác biệt.
Điều này có nghĩa gì đối với các nhà đầu tư
Đối với thị trường phần cứng AI rộng lớn hơn, điều này đặt ra một chuẩn mực mới. Các đối thủ giờ đây cần trả lời một câu hỏi đơn giản: họ có thể đạt 67 đến 70 TOPS ở 25 watt với giá 249 đô la không?
Rủi ro cần theo dõi là liệu các mô hình địa phương có thực sự theo kịp các mô hình tiên tiến được lưu trữ trên đám mây về khả năng hay không. Việc chạy Llama 3 trên thiết bị giá 249 đô la là ấn tượng, nhưng nó không phải là GPT-4. Đối với nhiều trường hợp sử dụng, đặc biệt trong DeFi và giao dịch, khoảng cách về chất lượng giữa các mô hình mã nguồn mở địa phương và các mô hình đám mây tiên tiến vẫn còn quan trọng.