Витрати на обчислення з використанням ШІ можуть зростути в 15 разів через те, що попит перевищує зростання пропозиції

Автор: Dwarkesh Patel

Переклад: Shenchao TechFlow

Глибокий огляд: коли здібності моделей ШІ наздоженуть найкращих програмістів, розумна ціна оренди однієї H100 перевищить 250 000 доларів США на рік — у 15 разів більше, ніж сьогоднішня ціна на спот-ринку. Це не віддалена прогноз, а реальний тренд, що виникає через структурну напругу між швидкістю зростання доходів Anthropic у 10 разів і швидкістю зростання обчислювальних потужностей у 3 рази. Для інвесторів той, хто першим отримає доступ до обчислювальних потужностей і зможе навчити найефективнішої моделі, визначить наступну конкуренційну картину.

Я хочу спробувати мінімалістичний підхід: виділити собі 2 години і швидко написати пост. Багато важливих підпитань я не встигаю глибоко розглянути, але якщо не робити цього, багато тем, що мене цікавлять, залишаться без руху.

Сьогодні я хочу поговорити про ситуацію з обчислювальними потужностями в AI-лабораторіях у найближчі роки.

Доходи Anthropic зростають у 10 разів щороку. За цією тенденцією, до кінця цього року доходи Anthropic, ймовірно, складуть від 100 до 150 мільярдів доларів США. Якщо ця тенденція триватиме, то до кінця наступного року їм доведеться досягти доходу в 1 трильйон доларів США. Звичайно, немає жодних жорстких підстав вважати, що ця тенденція обов’язково продовжиться — у кінцевому підсумку все залежить від здатностей ШІ. Але припустимо, що вона дійсно продовжиться — які умови повинні бути виконані в цьому світі?

Потужність лабораторії зростає в 3 рази щороку. Щоб лабораторія досягла зростання доходів у 10 разів при зростанні потужності лише в 3 рази, мають відбутися одночасно принаймні кілька з наступних трьох речей: 1) зростання прибутковості лабораторії; 2) зростання ціни на потужність; 3) лабораторія використовує більшу частину потужності для висновків.

Моє розуміння таке: ці три речі відбуваються одночасно: по-перше, маржа прибутку Anthropic зросла з 40% у 2025 році до можливо більше ніж 80% у бізнесі Fable inference (хоча маржа на граничні обчислювальні ресурси може бути іншою — про це пізніше); по-друге, ціна на спот-ринок обчислювальних ресурсів зросла більше ніж на 40% з мінімуму у лютому цього року, а реальна ціна, яку лабораторії фактично платять, може бути ще вищою (деталі — пізніше); по-третє, згідно з даними Epoch, OpenAI у 2024 році приблизно чверть своїх витрат на обчислювальні ресурси витрачала на inference, а зараз цей відсоток, ймовірно, наблизився до 50% або навіть перевищив його.

Лабораторії насправді не хочуть йти третьою дорогою (використовувати все більше обчислювальних потужностей для висновків). Є жарт, який дуже точно висвітлює це: значення доходів від висновків полягає в тому, щоб переконати інвесторів виділити вам більше грошей, щоб ви могли купити більше обчислювальних потужностей і навчати більші моделі. Якщо ви зосереджуєте більшість обчислювальних потужностей на висновках, то це, певним чином, означає оголошення про зупинку прогресу ШІ — бо подальше збільшення інвестицій у навчання вже не має сенсу, і ваш бізнес стає просто хмарним провайдером. Великі лабораторії так не вважають — вони вважають, що моделі, які зараз розгортають, через рік здадуться дуже застарілими, а зараз цей бізнес ведеться для накопичення комерційних кейсів, щоб підтримувати продовження навчання більш розумних моделей.

Тож залишається два шляхи: перший — збільшення прибутковості лабораторій; другий — зростання вартості обчислювальних потужностей. Якщо лідери — одна або дві лабораторії — значно випереджають конкурентів, то перший шлях буде більш помітним. На ринку прибутковість залежить від того, наскільки кращим є ваше рішення порівняно з наступним найкращим варіантом. Щоб перший ефект став домінуючим, прибутковість до кінця наступного року повинна досягти понад 90%. На мій погляд, це досить абсурдно. Але я справді вважаю, що дохід AI-лабораторій може продовжувати зростати дивовижними темпами.

Тоже саме пояснення, як світ може здійснити «божевільний ріст виручки до 1 трильйона доларів до кінця наступного року», залишився останній ефект: різке зростання цін на обчислювальну потужність. Як я вже зазначав, це вже почалося. Якщо подивитися на обчислювальну потужність, яку справді потребують лабораторії, зростання цін буде ще більш вражаючим — вони очевидно не можуть полагоджуватися на спот-екземпляри, їм потрібна гарантія безпеки ваг моделей та користувацьких даних, а також достатній масштаб для досягнення високої ефективності та гнучкості. Ось наскільки божевільний цей ринок: Google та Anthropic орендували обчислювальну потужність у SpaceX. За повідомленнями, Google витрачає 900 мільйонів доларів на місяць на оренду 110 000 GPU, які є змішанням GB200 та GB300. У перерахунку це приблизно вдвічі дорожче за спот-ціни цих GPU. А самі спот-ціни зараз вже на 40% вищі, ніж у лютому.

Я хочу підкреслити ключовий висновок: зі зростанням потужності моделей ШІ та сама одиниця обчислювальних ресурсів стає все більш цінною. Якщо справжній програміст на рівні людини зможе працювати на пристрої рівня H100, то, згідно з поточними ринковими зарплатами програмістів, річна оренда цього H100 повинна перевищувати 250 тисяч доларів США — у 15 разів більше, ніж поточна ціна на спот-ринку.

Звичайно, якщо раптово з’явиться 10 мільйонів програмістів, то гранична цінність інженерів природньо знизиться, тому H100, можливо, не зможе генерувати в 15 разів більше доходу, ніж зараз. Але я насправді не впевнений, чи цей логічний аргумент дійсно справедливий. Якщо застосувати цей аргумент до людей, а не до ШІ, це буде класична «помилка загальної кількості праці». Економісти вважають, що висококваліфіковані іммігранти у довгостроковій перспективі не знижують заробітну плату, оскільки спеціалізація та інновації підвищують цінність праці. Можливо, цей шок пропозиції праці надто великий і надто швидкий, щоб ця економічна закономірність залишалася в силі. Але якщо ми віримо стандартним економічним уявленням про працю, то гранична цінність праці (та гранична ціна обчислювальних потужностей) повинна залишатися на дуже високому рівні.

Що відбудеться в цьому світі?

Лідери все більше витискають цінність з обчислювальних потужностей, і відставати стає все складніше. Якщо до 2028 року інженерія програмного забезпечення буде автоматизована, а ціни на обчислювальні потужності зростуть у 15 разів порівняно з теперішніми, то конкурувати з лідерами у отриманні обчислювальних потужностей без будь-якого доходу буде надзвичайно складно.

Якщо ви зможете навчити найкращу та найефективнішу модель, ваша прибутковість буде набагато вищою, ніж сьогодні. Це ефект Аркіна-Аллена: коли фіксовані витрати додаються до двох товарів різної якості, високоякісний стає відносно більш вигідним, і попит переноситься на нього. Коли ціна за годину H100 піднімається до 20 доларів США, використання слабшої та менш ефективної моделі стає надзвичайно дорогим і нерозумним — бо вам доведеться витрачати більше токенів та запускати більше дорогих обчислень, щоб отримати той самий результат. Тож, якщо хтось зможе навчити топову модель, яка використовує менше обчислювальних ресурсів, він зможе стягувати дуже високу надбавку. Оскільки базові обчислювальні ресурси і так коштують стільки грошей, чому б не додати трохи більше, щоб використовувати найефективнішу модель, яка працює на тих самих обчислювальних ресурсах?

Багато сьогодні популярних застосунків ШІ будуть витіснені через ціну. ШІ зараз відносно дешевий, щонайменше дешевший за людську працю, частково через те, що він ще не може виконувати багато завдань, які здатні робити найкращі люди. Колись це більше не буде правдою. Тоді витрати на створення коротких відео-сміття за допомогою GPU стануть надто високими, щоб це було вигідно.

Проте такі прогнози схожі на історичні помилкові передбачення щодо дефіциту. Я маю на увазі пари Саймона-Елріха: Пол Елріх заклав, що за десятиліття до 1990 року ціни на кошик сировини зростуть, а не знизяться. Ця пари відома в популярних економічних дискусіях, оскільки, як стверджували, вона спростувала марксистську світоглядну позицію Елріха — він недооцінив роль ринкових сигналів та людської мудрості у збереженні дефіцитних ресурсів (хоча деякі аналізи вказують, що якби цю пару зробили на інше десятиліття, Елріх виграв би).

Я вважаю, що відносник товарів не підходить для обчислювальної потужності, оскільки еластичність пропозиції обчислювальної потужності значно нижча, ніж у видобутку металів, а також її здатність поглинати масштабні вимоги або знаходити альтернативи набагато слабша. Щорічне збільшення обчислювальної потужності в 3 рази отримане шляхом множення трьох цифр: 1,4 рази через закон Мура, 1,2 рази через будівництво нових виробничих потужностей (щонайменше до 2030 року обмежене постачанням обладнання EUV) та 1,8 рази через те, що ШІ відбирає у інших пристроїв квоти на передові напівпровідникові вироби (цей фактор досягне стіни близько 2027 року, коли частка ШІ у виробах N3 зросте з 60% до 86%). Жоден із цих трьох множників важко далі підняти, а останній навіть протягом року-двух досягне піку через насичення квот на вироби.

Я хочу зазначити, що в майбутньому якийсь момент обчислювальна потужність знову стане дешевшою. Колись роботи зможуть безпосередньо перетворювати кремнієвий пісок на узбережжі та мідні родовища під землею на комп’ютери, і тоді ціна на обчислювальну потужність, ймовірно, знизиться до рівня витрат на сировину та інструменти. Зараз я обговорюю лише поточний етап — обчислювальна потужність для ШІ зростає лише в 3 рази на рік, і ця швидкість абсолютно не встигає за зростанням цін, спричиненим щорічним збільшенням цінності ШІ.

Згадуючи це, дохід Anthropic зростає в 10 разів щороку, тоді як обчислювальні потужності — лише в 3 рази, що свідчить про дуже сильну економію масштабу в бізнесі моделей. Логічно — ви платите один раз за навчання моделі, а потім ці витрати розподіляються серед усіх користувачів (на відміну від людської праці, де кожен випадок потребує навчання з нуля). Я не хочу жити у світі, де інтелект має таку сильну економію масштабу (бо боюся концентрації влади). Але, схоже, саме так і є насправді.