Epoch AI передбачає, що обчислення для висновків перевищать обчислення для навчання моделей до 2030 року

Індустрія ШІ наближається до переломного моменту. За даними Epoch AI, некомерційної організації, що відстежує тенденції у сфері штучного інтелекту, обчислювальна потужність, що виділяється для запуску моделей ШІ, зростатиме швидше, ніж обчислювальна потужність, що використовується для їх створення, до 2030 року.

Прогнози Epoch AI малюють картину галузі, де економіка розгортання все більше буде переважати над економікою розробки. Організація оцінює, що майже половина всіх обчислень для висновків перейде на ASIC, або спеціалізовані інтегральні схеми, до кінця десятиліття. Це чіпи, розроблені для виконання однієї задачі надзвичайно добре, на відміну від універсальних GPU, які зараз забезпечують більшість завантажень ШІ.

Тим часом частка обчислювальних ресурсів для навчання у загальних обчислювальних операціях ШІ, як очікується, залишиться на рівні приблизно 5%. Обчислювальні ресурси для навчання передових моделей ШІ зараз зростають щорічно в 4–5 разів. Загальний обсяг встановлених обчислювальних ресурсів ШІ розширюється з подібною швидкістю.

Історично інференція вже становила 60–80% обчислювальних ресурсів у реальних розгортаннях.

До 2030 року очікується, що тренування передових моделей досягнуть приблизно 2e29 FLOP. Цей прогрес порівнянний із стрибком від GPT-2 до GPT-4, підтримуваним ресурсами вартістю понад 100 мільярдів доларів США. Кожне з таких передових тренувань може вимагати від 4 до 16 гігават енергії для обчислень.

Загальна потужність штучного інтелекту проектів Epoch AI в США може перевищити 50 ГВт до 2030 року, а глобальна потужність — понад 100 ГВт.

Google зрозумів це роки тому зі своїми процесорами Tensor. Amazon має свої чіпи Inferentia. Тренд, який прогнозує Epoch AI, свідчить, що це не нишева стратегія, а напрямок, який до кінця десятиліття займе приблизно половина ринку інференсу.

Обмеження цієї траєкторії зростання не є незначними. Потреба у електроенергії, виробнича потужність чіпів та обмеження передачі даних створюють реальні виклики. Оцінка Epoch AI полягає в тому, що ці вузькі місця можна впорати за поточних припущень щодо зростання.

Якщо інференс-обчислення — це напрямок майбутнього росту, інвестиційна теорія для напівпровідникового сектора значно змінюється. Навчання все ще вимагає GPU, а бюджети на навчання продовжують зростати на 4–5% щорічно. Але більш об’ємна та постійна можливість отримання доходу все частіше пов’язана з інференсом.

Коли мова йде про 50 ГВт потужності штучного інтелекту лише в США, це масштабне розширення центрів обробки даних, систем генерації електроенергії та охолодження.

Ризик, який слід враховувати, — чи є річний темп зростання обчислювальних потужностей у 4–5 разів стійким. Прогнози Epoch AI ґрунтуються на припущенні, що поточні тенденції збережуться, але обмеження енергоспоживання та геополітичні динаміки щодо постачання чіпів можуть викликати труднощі.