Генеральный директор Nvidia Джесен Хуан обладает чувством театральности. Во время недавней презентации он достал AI-компьютер за $249 из кухонной печи, потому что, похоже, именно так нужно запускать аппаратное обеспечение, когда твоя стоимость превышает $100 млрд. Устройство под названием Jetson Orin Nano Super Developer Kit предназначено для локального запуска крупных языковых моделей без подписки на облачные сервисы.
Суть проста: запускайте модели ИИ, такие как Llama 3, Mistral, Gemma и DeepSeek, на компактном устройстве, расположенном на вашем столе. Нет ежемесячных плат за API. Нет отправки ваших данных на чужие серверы. Просто подключите и начните.
Что же внутри этого устройства
Jetson Orin Nano Super обеспечивает производительность от 67 до 70 TOPS, или триллионов операций в секунду, потребляя всего 25 ватт энергии. Для сравнения, это примерно столько же энергии, сколько потребляет обычная лампочка. Устройство оснащено 8 ГБ памяти с пропускной способностью 1023 ГБ/с.
Nvidia утверждает, что производительность её новой модели удвоилась по сравнению с предшественником — оригинальным Jetson Orin Nano, при этом пропускная способность памяти увеличилась на 50%. Это существенное улучшение для устройства в том же ценовом сегменте.
Nvidia даже утверждает, что устройство может справляться с рабочими процессами, которые ранее были прерогативой её гораздо более крупных суперкомпьютеров HGX AI.
Почему локальный ИИ важен, особенно для криптовалют
Локальные вычисления, то есть запуск моделей ИИ на собственном оборудовании, а не через облачного провайдера, напрямую решают две проблемы, которые крайне важны для криптовалютного сообщества: конфиденциальность данных и децентрализация. Когда вы запускаете модель локально, ваши запросы и данные никогда не покидают ваше устройство. Нет сторонних API, которые записывали бы ваши запросы или извлекали ваши входные данные для обучения.
Это важно для децентрализованных проектов в области ИИ, строящихся на сетях, таких как Bittensor, Render или Akash. Эти протоколы стремятся создать распределенные рынки вычислительных ресурсов, где пользователи предоставляют мощность GPU в обмен на токенные вознаграждения. Входная точка в $249 для подходящего ИИ-оборудования может значительно расширить количество участников этих сетей.
Отмена повторяющихся плат за API — еще один аспект, за которым стоит следить. OpenAI, Anthropic и Google взимают плату за каждый токен для своих облачных моделей. Для криптопроектов, интегрирующих функции ИИ — будь то торговые боты, аудит смарт-контрактов или аналитика в цепочке — эти расходы быстро накапливаются. Единовременные инвестиции в $249, позволяющие запускать сопоставимые открытые модели локально, представляют собой принципиально иной экономический подход.
Что это значит для инвесторов
Для более широкого рынка AI-аппаратного обеспечения это задает новый стандарт. Конкурентам теперь необходимо ответить на простой вопрос: могут ли они предложить 67–70 TOPS при 25 ваттах за 249 долларов?
Риск, за которым стоит наблюдать, заключается в том, могут ли локальные модели действительно поспевать за облачными передовыми моделями по возможностям. Запуск Llama 3 на устройстве за $249 впечатляет, но это не GPT-4. Для многих применений, особенно в DeFi и трейдинге, разница в качестве между локальными открытыми моделями и передовыми облачными моделями всё ещё имеет значение.