Відкритий проект розблокування GPU збільшує продуктивність штучного інтелекту серії RTX 30 до 60%

icon币界网
Поділитися
AI summary iconКороткий зміст
Відкритий проект під назвою GPU Unlock привертає увагу як альткоїни, які можуть зростати на ринку. Інструмент підвищує продуктивність ШІ на графічних процесорах NVIDIA RTX серії 30 до 58,6% у операціях FP16/BF16 та TF32. Він видаляє штучні обмеження без зміни драйверів чи VBIOS. Зростання продуктивності досягається за рахунок пропускної здатності тензорних ядер, а не пропускної здатності пам’яті чи CUDA-ядер. Результати варіюються залежно від апаратного забезпечення та завантаження. Відкритий інтерес до активів, пов’язаних з ШІ, також зростає разом із цим розвитком.
CoinMarketCap повідомляє:

Серія графічних процесорів GeForce RTX 30 від NVIDIA, яка вже була випущена (архітектура Ampere), очевидно, має значний невикористаний обчислювальний потенціал. Користувач GitHub Zagitta розробив новий відкритий проект під назвою GPU Unlock, який дозволяє видалити деякі штучно накладені обмеження продуктивності на графічних процесорах архітектури Ampere. При певних навантаженнях пропускна здатність тензорних ядер майже подвоюється, причому не потрібно змінювати драйвери NVIDIA або постійно перепрошивати VBIOS відеокарти.

IT之家 звернув увагу, що цей проект спеціально спрямований на обмеження швидкості випуску інструкцій: під час виконання операцій з тензорними ядрами FP16/BF16 з накопиченням FP32, швидкість роботи споживчих графічних карт Ampere нижча, ніж у професійних. Після видалення цього обмеження інструмент може розкрити додаткову обчислювальну потужність, яка вже присутня в апаратному забезпеченні графічної карти.

Цікаво, що GPU Unlock базується на попередніх дослідженнях, спрямованих на карту майнінгу NVIDIA CMP. Він поєднує технологію розблокування прошивки проекту CMP із набором попередніх ініціалізаційних схем, використовуючи модуль ядра Linux, який виконує дії до завантаження драйвера NVIDIA. Цей модуль змінює відповідні реєстри вибору швидкості пристрою, виконує функціональне скидання (FLR), після чого оригінальний драйвер може нормально ініціалізувати графічну карту.

Це також означає, що користувачам не потрібно застосовувати патчі до драйверів під час оновлення до нової версії. Розробники наразі позначили підтримку GPU моделей GA102, GA103, GA104, GA106, що охоплює більшість моделей серії RTX 30, проте не кожна відеокарта обов’язково сумісна, і не гарантується підвищення продуктивності для всіх.

Підвищення продуктивності може бути досить значним. Згідно з даними тестування, опублікованими в репозиторії проекту на GitHub, RTX 3090 Ti з обмеженням споживання потужності на рівні 450 Вт показала такі результати при тестуванні щільного матричного множення (GEMM) з використанням FP32-акумуляції:

Ці покращення не зустрічаються лише на RTX 3090 Ti. Користувач RTX 3080 Ti повідомив, що при обмеженні споживання енергії відеокарти на 315 Вт пропускна здатність BF16 зросла з 71,59 TFLOPS до 113,98 TFLOPS, а продуктивність TF32 — з 35,65 TFLOPS до 65,28 TFLOPS. Також у звіті про сумісність RTX 3080 10 ГБ зазначено, що при оригінальному ліміті споживання енергії відеокарти 320 Вт продуктивність FP16/BF16 зросла з приблизно 65 TFLOPS до 110–113 TFLOPS. Ці результати тестування також широко обговорюються на платформі X.

Як вона проявляє себе у реальних застосуваннях? На щастя, користувачі спільноти вже почали тестувати цю розблоковану функцію при реальних навантаженнях штучного інтелекту, і попередні результати досить оптимістичні.

Користувач RTX 3090 Ti на Reddit провів тест продуктивності в ComfyUI: пропускна здатність MOSS-Image SFT BF16 зросла на 58,6%, Qwen-Image 2.1 Turbo BF16 — на 57,2%, Z-Image Turbo BF16 — на 56,1%. У режимі точності INT8 підвищення було мінімальним: MOSS-Image SFT INT8 показав лише 0,3% зростання. Тестувач також зазначив, що результати декодування зображень за замовчуванням і після розблокування повністю збігаються.

Висновки великих мовних моделей (LLM) також є потенційною сценарією вигоди, але ступінь покращення сильно залежить від типу навантаження. Наприклад, згідно з совмісністю RTX 3090, vLLM збільшує пропускну здатність обробки підказок і висновків на 33%, але швидкість генерації токенів майже не змінюється. Це також логічно, оскільки обмеженням у декодуванні великих мовних моделей часто є пропускна здатність відеопам’яті, а не первинна обчислювальна пропускна здатність тензорних ядер.

Ще одна важлива розробка — експериментальна реалізація для Windows, яка більше не використовує ранішній модуль ядра Linux, а базується на UEFI. Розробники зафіксували успішний приклад з RTX 3090, де пропускна здатність обчислень BF16 зросла приблизно на 82,5%. Однак ця версія залишається експериментальною, підтримує лише певне обладнання і не є загальнодоступною офіційною версією для Windows.

Цей метод також має очевидні обмеження. Розблокування GPU не збільшує пропускну здатність відеопам’яті, не розблоковує додаткові CUDA-ядра і не прискорює автоматично всі завантаження. Як мінімум, один з відгуків щодо RTX 3080 Ti 20 ГБ показав, що процес розблокування був виконаний успішно, але продуктивність BF16 не зросла, як очікувалося, що свідчить про те, що ефект не є універсальним.

Щодо ігор, технологія DLSS від NVIDIA також використовує тензорні ядра, але наразі немає надійних доказів, що розблокування GPU може підвищити частоту кадрів у іграх або скоротити час виконання DLSS. Вигода можлива лише тоді, коли завдання безпосередньо використовує ці впливові інструкції та режими накопичення. Тому ці вражаючі результати обчислень не означають, що частота кадрів у іграх зросте синхронно.

Незважаючи на це, GPU Unlock залишається привабливою новою ініціативою для власників карток серії RTX 30, особливо для тих, хто використовує їх для локального AI-виведення, генерації зображень та інших сценаріїв з високим обчислювальним навантаженням. Цей проект наразі перебуває на експериментальній стадії, але здатність отримати значну додаткову продуктивність з існуючих карток без постійних змін у апаратному забезпеченні дійсно приваблива.

Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації. Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.