Pengasas Nvidia, Jensen Huang, mempunyai gaya yang teatrikal. Semasa satu persembahan baru-baru ini, beliau mengeluarkan komputer AI bernilai $249 dari dalam oven dapur, kerana rupanya itulah cara untuk melancarkan peranti keras apabila anda bernilai lebih daripada $100 bilion. Peranti tersebut, dipanggil Jetson Orin Nano Super Developer Kit, direka untuk menjalankan model bahasa besar secara tempatan, tanpa memerlukan langganan awan.
Tawarannya mudah: jalankan model AI seperti Llama 3, Mistral, Gemma, dan DeepSeek pada sebuah kotak kompak yang berada di atas meja anda. Tiada yuran API berulang. Tiada penghantaran data anda ke pelayan orang lain. Cukup sambungkan dan mulakan.
Apa sebenarnya yang ada di dalam benda ini
Jetson Orin Nano Super menghasilkan 67 hingga 70 TOPS, atau trilion operasi per saat, sambil hanya menarik kuasa sebanyak 25 watt. Sebagai perbandingan, itu kira-kira penggunaan tenaga sebiji lampu biasa. Peranti ini membekalkan 8 GB memori dengan lebar pita sebanyak 1.023 GB/s.
Nvidia menyatakan bahawa ia menggandakan prestasi pendahulunya, Jetson Orin Nano asal, sambil memberikan bandwidth memori 50% lebih tinggi. Itu adalah lompatan bermakna untuk peranti dalam kategori harga yang sama.
Nvidia bahkan mengatakan peranti ini mampu menangani alur kerja yang sebelumnya menjadi domain superkomputer AI HGX yang jauh lebih besar.
Mengapa AI tempatan penting, terutamanya untuk kripto
Inferen tempatan, yang bermaksud menjalankan model AI pada peralatan sendiri bukan melalui penyedia awan, secara langsung menangani dua kebimbangan yang sangat dipedulikan oleh komuniti kripto: privasi data dan desentralisasi. Apabila anda menjalankan model secara tempatan, soalan dan data anda tidak pernah keluar dari mesin anda. Tiada API pihak ketiga yang merekodkan soalan anda atau mengambil input anda untuk data latihan.
Ini penting untuk projek AI terdesentralisasi yang membangun di atas rangkaian seperti Bittensor, Render, atau Akash. Protokol-protokol ini cuba mencipta pasaran pengkomputeran teragih di mana individu menyumbang kuasa GPU sebagai imbalan ganjaran token. Titik masuk sebanyak $249 untuk peralatan AI yang mampu boleh memperluaskan dengan ketara jumlah peserta dalam rangkaian-rangkaian ini.
Penghapusan caj API berulang adalah sudut lain yang patut diperhatikan. OpenAI, Anthropic, dan Google semuanya mengecaskan caj per-token untuk model berberasaskan awan mereka. Bagi projek kripto yang mengintegrasikan fungsi AI, sama ada untuk bot dagangan, audit kontrak pintar, atau analitik atas rantai, caj-caj tersebut bertambah dengan cepat. Pelaburan sekali sahaja sebanyak $249 yang boleh menjalankan model sumber terbuka yang sepadan secara tempatan adalah satu cadangan ekonomi yang secara asasnya berbeza.
Apa yang bermaksud ini kepada pelabur
Untuk pasaran peranti AI yang lebih luas, ini menetapkan tolok ukur baharu. Pesaing kini perlu menjawab soalan yang jelas: bolehkah mereka mencapai 67 hingga 70 TOPS pada 25 watt dengan harga $249?
Risiko yang perlu diperhatikan ialah sama ada model tempatan benar-benar mampu mengekori model terkini yang dihoskan awan dari segi kemampuan. Menjalankan Llama 3 pada peranti $249 adalah mengagumkan, tetapi ia bukan GPT-4. Bagi banyak kes penggunaan, terutamanya dalam DeFi dan perniagaan, jurang kualiti antara model sumber terbuka tempatan dan model awan terkini masih penting.