Maaaring tumaas ang mga gastos sa AI Compute dahil sa pagdami ng demand at kakulangan sa suplay

Gusto kong subukan ang isang minimalistic na paraan: magtakda ng 2 oras para mabilis na isulat ang isang blog post. Maraming mahahalagang sub-isyu na hindi ko kayang pag-aralan nang masusing, ngunit kung hindi ko ito gagawin, maraming paksa na interesado ako ay mananatiling nakaputol at walang progreso.

Ngayon ay gustong kausapin ko ang sitwasyon ng computing power sa mga AI laboratoryo sa mga susunod na taon.

Ang kita ng Anthropic ay lumalago ng 10 beses bawat taon. Ayon sa trend na ito, malamang ang kita ng Anthropic sa katapusan ng taong ito ay magiging sa pagitan ng $100 bilyon hanggang $150 bilyon. Kung patuloy ang trend na ito, kailangan nilang makamit ang $1 trilyon na kita sa katapusan ng susunod na taon. Walang tiyak na dahilan kung bakit magpapatuloy ang trend—ito ay nakasalalay sa kakayahan ng AI. Ngunit kung talagang magpapatuloy ito, anong mga kondisyon ang dapat maging totoo sa mundo na ito?

Lumalago ang computing power ng laboratorio ng 3 beses bawat taon. Kung ang isang laboratorio ay nais makamit ang 10-fold na pagdami ng kita habang ang computing power ay lumalago lamang ng 3 beses, kailangan magkasama ang mga sumusunod na tatlong bagay: una, tumataas ang profit margin ng laboratorio; pangalawa, tumataas ang presyo ng computing power; at pangatlo, ginagamit ng laboratorio ang mas malaking bahagi ng computing power para sa inference.

Sa aking pag-unawa, tatlo itong nangyayari nang sabay-sabay: una, ang margin ng kita ng Anthropic ay tumataas mula sa 40% noong 2025 patungo sa posibleng higit sa 80% para sa kanilang Fable inference business (kahit na ang margin ng marginal compute ay maaaring magkaiba, ipapaliwanag ko ito sa susunod); pangalawa, ang spot price ng compute ay tumataas ng higit sa 40% mula sa lowest point noong Pebrero ng taong ito, at ang tunay na presyo na kinukulang ng lab ay maaaring mas mataas pa (ipapaliwanag ko ito nang mas detalyado); pangatlo, batay sa datos ni Epoch, noong 2024, halos isang-kapat ng gastos sa compute ni OpenAI ay ginastos sa inference, at ngayon, ang proporsyon na ito ay mas malapit na sa 50% o kahit higit pa.

Hindi talaga gustong pumili ng ikatlong daan (paggamit ng patuloy na lumalaking computing power para sa inference). May isang joke na napakatumpak: ang kahalagahan ng kita mula sa inference ay upang paniniwalaan ang mga investor na bigyan ka ng mas maraming pera upang bumili ng higit pang computing power at itrain ang mas malalaking model. Kung pinapress mo ang karamihan sa computing power mo sa inference, sa isang paraan ay nagpapahayag ka na ang pag-unlad ng AI ay nagsasara—dahil hindi na mabisa ang pagpapalakas ng investment sa training, at ang iyong negosyo ay naging katulad ng isang cloud service provider. Hindi sumasang-ayon ang mga laboratorio sa ganitong pananaw—naniwala sila na ang mga model na kanilang inilalabas ngayon ay magiging napakaluma sa isang taon, at ang layunin ng kanilang negosyo ngayon ay upang makalikha ng mga kaso sa negosyo na susuporta sa pagpapatuloy ng pagtatrain ng mas matalinong mga model.

Kaya ang natitirang dalawang opsyon: una, ang pagtaas ng margin ng profit ng laboratorio; pangalawa, ang pagtataas ng halaga ng computing power. Kung ang ilang pinakamalalaking laboratorio ay malayo nang malaking antas sa kanilang mga kalaban, mas makikita ang unang opsyon. Sa kompetisyon ng merkado, ang margin ng profit ay nakadepende kung gaano ka kalakas kumpara sa susunod na pinakamahusay na alternatiba. Upang maging dominanteng epekto ang unang epekto, dapat umabot sa higit sa 90% ang margin ng profit hanggang sa katapusan ng susunod na taon. Ito ay tila napakalaking bilang para sa akin. Ngunit naniniwala ako na posible na patuloy na lumago ang kita ng AI laboratorio sa nakakagulat na bilis.

Kaya, upang ipaliwanag kung paano maaaring maging totoo ang mundo kung saan ang kita ay tataas nang pambabato hanggang sa $1 trilyon sa dulo ng susunod na taon, mayroon pa ring huling epekto: ang malaking pagtaas ng computing power. Tulad ng sinabi ko, nagsisimula na ito. Kung titingnan natin ang uri ng computing power na kailangan ng mga laboratorio, mas makikita natin ang mas malaking pagtaas ng presyo—hindi sila maaaring mag-asa sa spot instances, kailangan nilang siguraduhin ang kaligtasan ng model weights at user data, at kailangan din nila ang sapat na sukat upang makamit ang mabuting utilization at flexibility. Tingnan natin kung gaano karami ang kalokohan sa merkado: ang presyo na binabayaran ni Google at Anthropic para mag-rent ng computing power mula sa SpaceX. Ayon sa mga ulat, bumibili si Google ng $900 milyon bawat buwan para sa 110,000 GPU, isang mix ng GB200 at GB300. Ito ay humigit-kumulang 2 beses ang presyo ng spot. At ang kasalukuyang spot price ay naka-40% na higit sa pekeng pekeng presyo noong Pebrero.

Gusto kong bigyang-diin ang pangunahing konklusyon: Habang lumalakas ang mga AI model, lumalaki rin ang halaga na maaaring mabuo ng magkakaparehong halaga ng computing power. Kung isang tunay na software engineer na may kakayahan na pantay sa tao ay maaaring tumakbo sa isang H100-level na device, batay sa kasalukuyang antas ng suweldo ng software engineer sa merkado, ang taunang renta ng H100 ay dapat lalampas sa $250,000 — 15 beses ang halaga nito sa kasalukuyang spot price.

Siyempre, kung biglang dumating ang 10 milyon pang software engineer, bababa ang marginal na halaga ng mga engineer, kaya’t hindi sigurado kung ang H100 ay totoo nang makakapagbigay ng 15 beses ang kita kaysa ngayon. Ngunit hindi ko talaga sigurado kung tama ang lohikang ito. Kung ilalapat mo ang argumentong ito sa mga tao kaysa sa AI, ito ay ang klasikong "maling paniniwala sa kabuuang puwersa ng paggawa." Ang mga ekonomista ay pangkalahatang naniniwala na hindi bababa ang mga magagaling na imigrante sa mahabang panahon dahil sa pagkakaspecialize at pagkakabuo ng mga bagong ideya na nagpapataas ng halaga ng puwersa ng paggawa. Baka naman ang pagtaas sa suplay ng puwersa ng paggawa na ito ay sobrang malaki at mabilis upang masira ang pagsasabing ito. Ngunit kung naniniwala tayo sa standard na ekonomiks tungkol sa puwersa ng paggawa, dapat manatili sa nakakagulat na mataas na antas ang marginal na halaga ng puwersa ng paggawa (at marginal na presyo ng computing power).

Ano ang mangyayari sa mundo?

Lalo na magiging mahirap makasunod kung ang mga pangunahing modelo ay patuloy na makakakuha ng mas maraming halaga mula sa computing power. Kung hanggang 2028 ay automatizado na ang software engineering at ang presyo ng computing power ay 15 beses na mas mataas kaysa ngayon, magiging lubos na mahirap na makakuha ng computing power kung walang kita upang makipagkumpetensya sa mga pangunahing laboratorio.

Kung makakapag-train ka ng pinakamahusay at pinakamabisang model, mas mataas ang profit margin na maaari mong kuhain kaysa ngayon. Ito ang Armentrout-Arlen Effect: kapag isang fixed cost ay idinagdag sa dalawang produkto na may iba’t ibang kalidad, mas mabisa ang mas mataas na kalidad, kaya lumilipat ang demand patungo dito. Kapag tumataas ang presyo ng H100 sa $20 bawat oras, magiging sobrang mahal at bulag na gamitin ang mas mahina at less efficient na model—dahil kailangan mong gamitin ang mas maraming token at mas maraming mahal na computing power para makamit ang parehong resulta. Kaya, kung sino man ang makakapag-train ng isang top-tier na model na mas mabisa sa paggamit ng computing power, maaari niyang ipagbili ito sa mataas na premium. Kung kailangan naman ng ilang pera ang base computing power, bakit hindi lang magdagdag ng kaunti at gamitin ang pinakamabisang model na maaaring mag-run sa parehong computing power?

Maraming kasalukuyang populer na AI application ang mabubura dahil sa presyo. Ang AI ay kasalukuyang relatibong mura, kahit na mas mura kaysa sa tao, dahil sa bahagyang dahilan na hindi pa ito kayang gawin ang maraming bagay na kayang gawin ng pinakamahusay na tao. Isang araw ay hindi na ito totoo. Sa panahong iyon, ang paggawa ng mga basurang video gamit ang GPU ay magiging sobrang mahal upang maging worth it.

Gayunpaman, ang mga pagtataya na ito ay may katulad na ugnayan sa mga maling pagtataya sa kasaysayan tungkol sa kakulangan. Isinip ko ang taya ni Simon-Ehrlich: pinagtaya ni Paul Ehrlich na sa sampung taon bago ang 1990, ang presyo ng isang basket ng mga komodidad ay magpapataas at hindi bababa. Ang tayang ito ay kilala sa mga diskusyon sa pangkalahatang ekonomiya dahil ito ay sinasabing ipinatotohanan ang pagkabigo ng pananaw ni Ehrlich na Malthusian—na kanyang napapahintulutan ang mga signal ng merkado at ang kakayahan ng tao sa pag-iipon ng mga mapagkukunan na kakulangan (ngunit may ilang pagsusuri na nagpapahiwatig na kung ibabawas ang tayang ito sa ibang sampung taon, mananalo si Ehrlich).

Nanaisip kong ang benchmark na大宗商品 ay hindi angkop para sa computing power, dahil mas maliit ang elasticity ng supply ng computing power kumpara sa pagmimina ng metal, at mas maliit din ang kakayahan nito na makatanggap ng malalaking pagbabago sa demand o maghanap ng mga alternatibo. Ang taunang pagtaas ng computing power na 3 beses ay natutulungan ng mga sumusunod na multiplier: 1.4 beses mula sa Moore’s Law, 1.2 beses mula sa pagtatayo ng mga bagong fab (limitado hanggang 2030 dahil sa kakulangan sa supply ng EUV equipment), at 1.8 beses mula sa pagkuha ng AI ng mga advanced node wafer allocation mula sa iba pang device (ang multiplier na ito ay maaaring makarating sa hangganan sa paligid ng 2027, kung saan ang porsyento ng AI sa N3 wafer ay maaaring tumaas mula sa 60% patungo sa 86%). Sa tatlong multiplier na ito, ang anumang isa ay mahirap pang i-boost, at ang huli ay maaaring makarating sa tuktok sa loob ng isang o dalawang taon habang ang wafer allocation ay magsasakop na.

Gusto kong ipaliwanag na sa isang darating na panahon, ang computing power ay muling magiging mas mura. Isang araw, ang mga robot ay magkakaroon ng kakayahang direktang i-convert ang mga silika na buhangin sa tabing-dagat at mga copper mine sa ilalim ng lupaing maging mga computer; sa panahong iyon, ang presyo ng computing power ay dapat mag-return sa antas na malapit sa gastos ng mga materyales at kagamitan. Ang tinatalakay ko ngayon ay ang kasalukuyang yugto lamang—ang AI computing power ay tumataas ng tanging 3 beses taon-taon, at ang bilis na ito ay hindi kayang makasunod sa pagtaas ng presyo na dulot ng pagkakaroon ng mas malaking halaga ng AI bawat taon.

Sa pagkakasundo, ang kita ng Anthropic ay tumataas ng 10 beses bawat taon, samantalang ang computing power ay tumataas lang ng 3 beses—ito ay nagpapakita na ang negosyo ng model ay may malakas na economy of scale. Logikal ito—kapag tinuturuan mo ang isang model, isang beses lang ang gastos sa pag-aaral, at maaari mong i-distribute ang gastos na ito sa lahat ng mga user (hindi tulad ng human labor, kung saan kailangan mong turuan muli ang bawat instance). Ayaw kong mabuhay sa isang mundo kung saan ang inteligensya ay may ganitong malakas na economy of scale (dahil natatakot akong magkakaroon ng pagkakaisa ng kapangyarihan). Ngunit tila ganito nga ang katotohanan.

May-akda: Dwarkesh Patel, Isinalin: Deep潮 TechFlow