Генеральний директор Nvidia Джесен Хуан має талант до театральності. Під час недавньої презентації він витягнув AI-комп’ютер за $249 з кухонної печі, бо, здається, саме так потрібно запускати апаратне забезпечення, коли твоя вартість становить $100 млрд+. Цей пристрій під назвою Jetson Orin Nano Super Developer Kit призначений для локального запуску великих мовних моделей без необхідності підписки на хмарні сервіси.
Пропозиція проста: запускайте моделі ШІ, такі як Llama 3, Mistral, Gemma та DeepSeek, на компактному пристрої, що стоїть у вас на столі. Без щомісячних плат за API. Без відправлення ваших даних на сервери інших. Просто підключіть та почніть.
Що саме всередині цього пристрою
Jetson Orin Nano Super забезпечує 67–70 TOPS, або трильйонів операцій на секунду, споживаючи лише 25 ват енергії. Для порівняння, це приблизно стільки ж енергії, скільки витрачає звичайна лампочка. Пристрій оснащений 8 ГБ пам’яті з пропускною здатністю 1 023 ГБ/с.
Nvidia стверджує, що подвоює продуктивність свого попередника — початкового Jetson Orin Nano, забезпечуючи при цьому на 50% більшу пропускну здатність пам’яті. Це значний стрибок для пристрою в тому ж ціновому діапазоні.
Nvidia навіть стверджує, що пристрій може обробляти робочі процеси, які раніше були в компетенції її набагато більших суперкомп’ютерів HGX AI.
Чому локальний ШІ має значення, особливо для криптовалют
Локальне виконання, тобто запуск моделей ШІ на вашій власній апаратній платформі, а не через провайдера хмари, безпосередньо вирішує дві проблеми, які для крипто-спільноти є дуже важливими: конфіденційність даних та децентралізація. Коли ви запускаєте модель локально, ваші запити та дані ніколи не залишають ваш пристрій. Жоден третій бік не зберігає ваші запити чи не збирає ваші вхідні дані для навчання.
Це має значення для децентралізованих AI-проектів, які розробляються на мережах, таких як Bittensor, Render або Akash. Ці протоколи намагаються створити розподілені ринки обчислень, де особи надають потужність GPU у обмін на токен-винагороди. Вхідна ціна у $249 для здатного AI-обладнання може значно розширити кількість учасників цих мереж.
Відміна регулярних комісій за API — це ще один аспект, за яким варто стежити. OpenAI, Anthropic та Google стягують плату за токен для своїх хмарних моделей. Для криптопроектів, які інтегрують функціонал ШІ — чи то для торгових ботів, аудиту смартконтрактів, чи он-чейн аналітики — ці витрати швидко накопичуються. Одноразовий інвестиційний вклад у $249, який дозволяє запускати порівняні відкриті моделі локально, — це принципово інша економічна модель.
Що це означає для інвесторів
Для ширшого ринку AI-апаратного забезпечення це встановлює новий стандарт. Конкуренти тепер повинні відповісти на просте питання: чи зможуть вони забезпечити 67–70 TOPS при 25 ватах за $249?
Ризик, який варто враховувати, — чи зможуть локальні моделі реально поспівати за хмарними передовими моделями за рівнем можливостей. Запуск Llama 3 на пристрої за $249 — це вражливо, але це не GPT-4. Для багатьох випадків використання, особливо в DeFi та торгівлі, різниця в якості між локальними відкритими моделями та передовими хмарними моделями все ще має значення.