Nvidia CEO Jensen Huang, teatral bir üsluba sahiptir. Son bir sunumda, $249 değerinde bir AI bilgisayarını bir mutfak fırınından çıkardı, çünkü görünüşe göre $100 milyarın üzerinde bir değere sahip olduğunuzda donanımı bu şekilde tanıtıyorsunuz. Bu cihaz, Jetson Orin Nano Super Geliştirici Kiti adını taşır ve yerel olarak büyük dil modellerini çalıştırmak için tasarlanmıştır; herhangi bir bulut abonelik gerekmez.
Teknik teklif basit: Llama 3, Mistral, Gemma ve DeepSeek gibi AI modellerini masanızda duran kompakt bir cihazda çalıştırın. Tekrarlayan API ücretleri yok. Verilerinizi başkasının sunucusuna göndermenize gerek yok. Sadece takın ve başlayın.
Bu şeyin içinde aslında ne var
Jetson Orin Nano Super, sadece 25 watt güç tüketerek saniyede 67 ila 70 trilyon işlem (TOPS) gerçekleştirmektedir. Bu, standart bir ampulün yaklaşık enerji tüketimine denk gelmektedir. Cihaz, 8 GB bellek ve 1.023 GB/s bant genişliği ile donatılmıştır.
Nvidia, Jetson Orin Nano'nun önceki versiyonunun performansını iki katına çıkardığını ve %50 daha fazla bellek bant genişliği sunduğunu iddia ediyor. Bu, aynı fiyat aralığında bir cihaz için anlamlı bir artıştır.
Nvidia, cihazın daha önce çok daha büyük HGX AI süper bilgisayarlarının alanındaydı olan iş akışlarını bile yönetebileceğini söylüyor.
Yerel AI'nın kripto para için neden önemli olduğu
Yerel çıkarım, AI modellerini bir bulut sağlayıcısı üzerinden değil kendi donanımınızda çalıştırmak anlamına gelir ve kripto topluluğunun büyük önem verdiği iki konuyu doğrudan çözer: veri gizliliği ve merkeziyetsizlik. Bir modeli yerel olarak çalıştırdığınızda, istekleriniz ve verileriniz asla cihazınızdan çıkmaz. Üçüncü taraf bir API, sorgularınızı kaydetmez veya girdilerinizi eğitim verisi olarak toplamaz.
Bu, Bittensor, Render veya Akash gibi ağlar üzerinde inşa edilen merkeziyetsiz AI projeleri için önemlidir. Bu protokoller, bireylerin GPU gücü sağlayarak token ödülleri kazandığı dağıtılmış hesaplama pazarları yaratmaya çalışıyor. Yetenekli AI donanımı için 249 dolarlık giriş noktası, bu ağlardaki katılımcı havuzunu önemli ölçüde genişletebilir.
Tekrarlayan API ücretlerinin kaldırılması, izlenmeye değer başka bir açı. OpenAI, Anthropic ve Google, bulut tabanlı modelleri için her token başına ücret alıyor. AI işlevselliğini işlem botları, akıllı sözleşme denetimi veya zincir içi analitikler için entegre eden kripto projeleri için bu maliyetler hızla birikiyor. Karşılıklı açık kaynak modelleri yerel olarak çalıştırmak için yapılan tek seferlik 249 dolarlık bir yatırım, temelde farklı bir ekonomik öneridir.
Bu, yatırımcılar için ne anlama geliyor
Daha geniş AI donanımı pazarı için bu, yeni bir standart belirliyor. Rakipler şimdi basit bir soruya cevap vermek zorunda: 25 wattta 249 dolar karşılığında 67 ila 70 TOPS değerini elde edebiliyorlar mı?
Dikkat edilmesi gereken risk, yerel modellerin yetenek açısından bulutta barındırılan öncü modellerle aynı tempoda ilerleyebilir mi olmasıdır. $249'luk bir cihazda Llama 3 çalıştırmak etkileyici, ancak bu GPT-4 değildir. Özellikle DeFi ve alım satım alanında birçok kullanım senaryosunda, yerel açık kaynak modeller ile en son bulut modelleri arasındaki kalite farkı hâlâ önemlidir.