Витрати на AI-обчислення, ймовірно, зростуть на тлі зростаючого попиту та обмежень пропозиції

Я хочу спробувати мінімалістичний підхід: виділити собі 2 години і швидко написати пост. Багато важливих підпитань я не встигаю глибоко розглянути, але якщо не робити цього, багато тем, що мене цікавлять, залишаться без руху.

Сьогодні я хочу поговорити про ситуацію з обчислювальними потужностями в AI-лабораторіях у найближчі роки.

Доходи Anthropic зростають у 10 разів щороку. За цією тенденцією, до кінця цього року доходи Anthropic, швидше за все, будуть у діапазоні 100–150 мільярдів доларів США. Якщо ця тенденція триватиме, то до кінця наступного року їм доведеться досягти доходу в 1 трильйон доларів США. Звичайно, немає жодних жорстких підстав вважати, що ця тенденція обов’язково продовжиться — у кінцевому рахунку все залежить від здатностей ШІ. Але припустимо, що вона справді продовжиться — які умови мають виконуватися в цьому світі?

Потужність лабораторії зростає в 3 рази щороку. Щоб лабораторія досягла зростання доходів у 10 разів при зростанні потужності лише в 3 рази, повинні відбутися одночасно принаймні дві з наступних трьох речей: 1) зростання прибутковості лабораторії; 2) зростання ціни на потужність; 3) лабораторія використовує більшу частину потужності для висновків.

Моє розуміння таке: ці три речі відбуваються одночасно: по-перше, маржа прибутку Anthropic зросла з 40% у 2025 році до можливо більше ніж 80% у бізнесі Fable inference (хоча маржа на граничні обчислювальні ресурси може бути іншою — про це пізніше); по-друге, ціна на спот-ринок обчислювальних ресурсів зросла більше ніж на 40% з мінімуму у лютому цього року, а реальна ціна, яку лабораторії фактично платять, може бути ще вищою (деталі — пізніше); по-третє, згідно з даними Epoch, OpenAI у 2024 році приблизно чверть своїх витрат на обчислювальні ресурси витрачала на inference, а зараз цей відсоток, швидше за все, наближається до 50% або навіть вищий.

Лабораторії насправді не хочуть йти третьою дорогою (використовувати все більше обчислювальних потужностей для висновків). Є жарт, який дуже точно висвітлює це: значення доходів від висновків — це переконати інвесторів виділити вам більше грошей, щоб ви могли купити більше обчислювальних потужностей і навчати більші моделі. Якщо ви зосереджуєте більшість обчислювальних потужностей на висновках, ви, певним чином, оголошуєте, що прогрес у ШІ зупинився — бо подальше збільшення інвестицій у навчання вже не має сенсу, і ваш бізнес стає просто хмарним провайдером. Великі лабораторії так не вважають — вони вважають, що моделі, які зараз розгортають, через рік здадуться дуже застарілими, а теперішній бізнес — це збір комерційних кейсів для підтримки продовження навчання більш розумних моделей.

Тож залишається два шляхи: перший — збільшення прибутковості лабораторій; другий — зростання вартості обчислювальних потужностей. Якщо лідируючі одна або дві лабораторії значно випереджають конкурентів, перший шлях буде більш помітним. На ринку прибутковість залежить від того, наскільки кращим є ваше рішення порівняно з наступним найкращим варіантом. Щоб перший ефект став домінуючим, прибутковість до кінця наступного року повинна досягти понад 90%. Це, на мій погляд, досить абсурдно. Але я справді вважаю, що дохід AI-лабораторій може продовжувати зростати дивовижними темпами.

Отже, щоб пояснити, як світ може здійснити «божевільний ріст виручки до 1 трильйона доларів до кінця наступного року», залишився останній ефект: різке зростання цін на обчислювальну потужність. Як я вже зазначав, це вже почалося. Якщо подивитися на обчислювальну потужність, яку справді потребують лабораторії, зростання цін буде ще більш захоплюючим — вони, зрозуміло, не можуть полагоджуватися на спот-екземпляри; їм потрібно забезпечити безпеку ваг моделей та користувацьких даних, а також достатній масштаб для досягнення високої ефективності та гнучкості. Ось наскільки божевільний цей ринок: Google та Anthropic орендували обчислювальну потужність у SpaceX. За повідомленнями, Google щомісяця витрачає 900 мільйонів доларів на оренду 110 000 GPU, які є сумішшю GB200 та GB300. Це приблизно вдвічі дорожче за поточну спот-ціну. А сама поточна спот-ціна вже на 40% вища, ніж у лютому.

Я хочу підкреслити ключовий висновок: зі зростанням потужності моделей ШІ та сама одиниця обчислювальної потужності стає все більш цінною. Якщо справжній програміст на рівні людини зможе працювати на пристрої рівня H100, то, згідно з поточними ринковими зарплатами програмістів, річна оренда цього H100 повинна перевищувати 250 тисяч доларів США — у 15 разів більше, ніж поточна ціна на спот-ринку.

Звичайно, якщо раптово з’явиться 10 мільйонів додаткових інженерів-програмістів, гранична цінність інженерів, безумовно, знизиться, тому H100, можливо, не зможе генерувати до 15 разів більше доходу, ніж зараз. Але я насправді не впевнений, чи цей логічний аргумент справедливий. Якщо застосувати цей аргумент до людей, а не до ШІ, це буде класична «помилка загальної кількості праці». Економісти вважають, що висококваліфіковані іммігранти у довгостроковій перспективі не знижують заробітну плату, оскільки спеціалізація та інновації підвищують цінність праці. Можливо, на цей раз масштаб та швидкість шоку пропозиції праці надто великі, щоб ця економічна закономірність залишалася в силі. Але якщо ми віримо у стандартну економічну теорію щодо праці, то гранична цінність праці (та гранична ціна обчислювальних потужностей) повинна залишатися на дуже високому рівні.

Що відбудеться в цьому світі?

Лідери все більше витискають цінність з обчислювальних потужностей, і відставати стає все складніше. Якщо до 2028 року інженерія програмного забезпечення буде автоматизована, а ціни на обчислювальні потужності зростуть у 15 разів порівняно з поточними, то конкурувати з лідерами за обчислювальні ресурси без будь-якого доходу буде надзвичайно важко.

Якщо ви зможете навчити найкращу та найефективнішу модель, ваша прибутковість буде значно вищою, ніж сьогодні. Це ефект Аркіна-Аллена: коли фіксовані витрати додаються до двох товарів різної якості, більш якісний стає відносно більш вигідним, і попит переноситься на нього. Коли ціна за годину H100 піднімається до 20 доларів США, використання слабшої та менш ефективної моделі стає надзвичайно дорогим і безглуздим — бо вам доведеться спалювати більше токенів та використовувати більше дорогих обчислювальних ресурсів, щоб отримати той самий результат. Тож, якщо хтось зможе навчити топову модель, яка витрачає менше обчислювальних ресурсів, він зможе стягувати дуже високу надбавку. Оскільки базові обчислювальні ресурси і так коштують стільки грошей, чому б не додати трохи більше і використовувати найефективнішу модель, яка працює на тих самих ресурсах?

Багато сьогодні популярних застосунків ШІ будуть витіснені через ціну. ШІ зараз відносно дешевий, щонайменше дешевший за людську працю, частково тому, що він ще не може виконувати багато завдань, які здатні робити найкращі люди. Колись це більше не буде правдою. Тоді використання GPU для створення сміттєвого відеоконтенту стане надто витратним.

Однак такі прогнози схожі на історичні помилкові передбачення щодо дефіциту. Я маю на увазі пари Саймона-Ерліха: Пол Ерліх заклав, що за десять років до 1990 року ціни на кошик сировини зростуть, а не знизяться. Ця пари відома в популярних економічних дискусіях, оскільки, як стверджувалося, вона спростувала мальтузіанську світоглядну позицію Ерліха — він недооцінив роль ринкових сигналів та людської мудрості у збереженні дефіцитних ресурсів (хоча деякі аналізи зазначають, що якби цю пару зробили за інший десятирічний період, Ерліх виграв би).

Я вважаю, що еталонний показник товарів не підходить для обчислювальної потужності, оскільки еластичність пропозиції обчислювальної потужності значно нижча, ніж у видобутку металів, а також її здатність поглинати масштабні вимоги або знаходити альтернативні рішення набагато слабша. Щорічне збільшення обчислювальної потужності в 3 рази отримане шляхом множення трьох показників: 1,4 рази завдяки закону Мура, 1,2 рази завдяки будівництву нових виробничих потужностей (щонайменше до 2030 року обмеженого постачанням обладнання EUV) та 1,8 рази завдяки тому, що ШІ відбирає у інших пристроїв частку виробничих квот на передових напівпровідникових виробництвах (цей показник досягне ступору близько 2027 року, коли частка ШІ на виробництвах N3 зросте з 60% до 86%). Жоден із цих трьох множників важко далі підвищити, а останній навіть протягом року-двух досягне піку через насичення квот на виробництво.

Я хочу зазначити, що в майбутньому якийсь час обчислювальна потужність знову стане дешевшою. Колись роботи зможуть безпосередньо перетворювати кремнієвий пісок на узбережжі та мідні руди під землею на комп’ютери, і тоді ціна на обчислювальну потужність, ймовірно, знизиться до рівня вартості сировини та інструментів. Але зараз я говорю саме про поточний етап — обчислювальна потужність для ШІ зростає лише в 3 рази на рік, і цей темп абсолютно не встигає за зростанням цін, спричиненим щорічним збільшенням цінності ШІ.

Згадуючи це, дохід Anthropic зростає в 10 разів щороку, тоді як обчислювальні потужності зростають лише в 3 рази, що свідчить про дуже сильну економію масштабу в бізнесі моделей. Логічно — ви платите одноразову вартість навчання моделі, а потім цю вартість можна розподілити між усіма користувачами (на відміну від людської праці, де кожен екземпляр треба навчати з нуля). Я не хочу жити у світі, де інтелект має таку сильну економію масштабу (бо боюся концентрації влади). Але реальність, схоже, саме така.

Автор: Dwarkesh Patel, переклад: Deep潮 TechFlow