CEO Nvidia, Jensen Huang, memiliki bakat untuk hal-hal yang teatrikal. Selama presentasi baru-baru ini, ia mengeluarkan komputer AI senilai $249 dari oven dapur, karena tampaknya itulah cara yang tepat untuk meluncurkan perangkat keras ketika kekayaan Anda mencapai $100 miliar lebih. Perangkat tersebut, bernama Jetson Orin Nano Super Developer Kit, dirancang untuk menjalankan model bahasa besar secara lokal, tanpa memerlukan langganan cloud.
Permintaannya sederhana: jalankan model AI seperti Llama 3, Mistral, Gemma, dan DeepSeek pada kotak kompak yang diletakkan di meja Anda. Tidak ada biaya API berulang. Tidak perlu mengirim data Anda ke server orang lain. Cukup colokkan dan mulai.
Apa sebenarnya yang ada di dalam benda ini
Jetson Orin Nano Super menghasilkan 67 hingga 70 TOPS, atau triliun operasi per detik, sambil hanya mengonsumsi daya 25 watt. Sebagai perbandingan, itu sekitar konsumsi energi dari sebuah lampu standar. Perangkat ini dilengkapi dengan memori 8 GB dengan bandwidth sebesar 1.023 GB/s.
Nvidia menyatakan bahwa produknya meningkatkan kinerja hingga dua kali lipat dibandingkan pendahulunya, Jetson Orin Nano asli, sambil menyediakan bandwidth memori 50% lebih tinggi. Itu adalah peningkatan signifikan untuk perangkat di kisaran harga yang sama.
Nvidia bahkan mengatakan perangkat ini dapat menangani alur kerja yang sebelumnya menjadi domain superkomputer AI HGX yang jauh lebih besar.
Mengapa AI lokal penting, terutama untuk crypto
Inferensi lokal, yang berarti menjalankan model AI pada perangkat keras Anda sendiri daripada melalui penyedia cloud, secara langsung menangani dua kekhawatiran yang sangat diperhatikan oleh komunitas kripto: privasi data dan desentralisasi. Ketika Anda menjalankan model secara lokal, prompt dan data Anda tidak pernah keluar dari mesin Anda. Tidak ada API pihak ketiga yang mencatat pertanyaan Anda atau mengambil input Anda untuk data pelatihan.
Ini penting untuk proyek AI terdesentralisasi yang membangun di atas jaringan seperti Bittensor, Render, atau Akash. Protokol-protokol ini berusaha menciptakan pasar komputasi terdistribusi di mana individu menyumbangkan daya GPU sebagai imbalan atas hadiah token. Titik masuk sebesar $249 untuk perangkat AI yang mampu dapat secara signifikan memperluas jumlah peserta di jaringan-jaringan ini.
Penghapusan biaya API berulang adalah sudut pandang lain yang patut diwaspadai. OpenAI, Anthropic, dan Google semuanya membebankan biaya per token untuk model berbasis cloud mereka. Untuk proyek kripto yang mengintegrasikan fungsi AI, baik untuk bot perdagangan, audit kontrak pintar, atau analisis on-chain, biaya-biaya tersebut cepat menumpuk. Investasi sekali sebesar $249 yang dapat menjalankan model open-source sebanding secara lokal adalah proposisi ekonomi yang secara fundamental berbeda.
Apa artinya ini bagi para investor
Untuk pasar perangkat keras AI yang lebih luas, ini menetapkan tolok ukur baru. Para pesaing sekarang perlu menjawab pertanyaan sederhana: dapatkah mereka menyamai 67 hingga 70 TOPS pada 25 watt dengan harga $249?
Risiko yang perlu diawasi adalah apakah model lokal benar-benar dapat mengejar ketinggalan dari model frontier yang dihosting di cloud dari segi kemampuan. Menjalankan Llama 3 pada perangkat $249 memang mengesankan, tetapi itu bukan GPT-4. Untuk banyak kasus penggunaan, terutama di DeFi dan perdagangan, kesenjangan kualitas antara model open-source lokal dan model cloud terkini masih penting.