Maaaring tumaas ang gastos sa AI compute ng 15 beses habang ang demand ay lalampas sa paglago ng suplay

May-akda: Dwarkesh Patel

I-translate ng Deep潮 TechFlow

DeepChain Overview: Kapag natutugunan ng mga AI model ang kakayahan ng mga top software engineer, ang makatwirang pagsasakay ng isang H100 ay lalampas sa $250,000 taon—15 beses ang presyo nito sa kasalukuyan. Ito ay hindi isang malayong propesya, kundi isang tunay na trend na hinahamon ng structural tension sa pagitan ng 10x growth ng kita ni Anthropic at 3x growth ng computing power. Para sa mga investor, sino ang una na makakakuha ng computing power at sino ang makakapag-train ng pinakaepektibong model, ay magdedesisyon sa susunod na格局 ng kompetisyon.

Gusto kong subukan ang isang minimalistic na paraan: magtakda ng 2 oras para mabilis na isulat ang isang blog post. Maraming mahahalagang sub-issues na hindi ko kayang pagtuunan ng pansin, ngunit kung hindi ko ito gagawin, maraming mga paksa na interesado ako ay magpapatuloy na maghihintay at walang progreso.

Ngayon ay gustong kausapin ko ang sitwasyon ng computing power sa mga AI lab sa mga susunod na taon.

Ang kita ng Anthropic ay tumataas ng 10 beses bawat taon. Ayon sa trend na ito, malamang ang kita ng Anthropic sa katapusan ng taong ito ay magiging sa pagitan ng $100 bilyon hanggang $150 bilyon. Kung patuloy ang trend na ito, kailangan nilang makamit ang $1 trilyon na kita sa katapusan ng susunod na taon. Walang tiyak na dahilan kung bakit magpapatuloy ang trend—ito ay nakadepende sa kakayahan ng AI. Ngunit kung talagang magpapatuloy ito, anong mga kondisyon ang dapat maging totoo sa mundo na ito?

Ang computing power ng laboratoryo ay tumataas ng 3 beses bawat taon. Kung ang isang laboratoryo ay nais na magkaroon ng 10 beses na pagtaas ng kita habang ang computing power ay tumaas lamang ng 3 beses, kailangan na magkaroong ang sumusunod na tatlong bagay: una, tumataas ang profit margin ng laboratoryo; pangalawa, tumataas ang presyo ng computing power; at pangatlo, ginagamit ng laboratoryo ang mas malaking bahagi ng computing power para sa inference.

Naniniwala ako na ang tatlong bagay na ito ay nangyayari nang sabay-sabay: una, ang margin ng kita ng Anthropic ay tumataas mula sa 40% noong 2025 patungo sa posibleng higit sa 80% para sa kanilang Fable inference business (kahit na ang margin ng marginal compute ay maaaring magkaiba, tatatalakayin ko ito sa susunod); pangalawa, ang spot price ng compute ay tumataas nang higit sa 40% mula sa lowest point noong Pebrero, at ang tunay na presyo na inabot ng lab ay maaaring mas mataas pa (tatatalakayin ko ito nang detalyado); pangatlo, batay sa datos ni Epoch, ang OpenAI ay nag-spent ng halos isang-kapat ng kanilang compute spending noong 2024 para sa inference, at ngayon, ang proporsyon na ito ay mas malapit na sa 50% o kahit higit pa.

Hindi talaga gustong pumili ng ikatlong daan (gagamitin ang lalong maraming computing power para sa inference). May isang joke na lubos na tama: ang kahalagahan ng kita mula sa inference ay upang paniwalaan ang mga investor na bigyan ka ng mas maraming pera upang bumili ng higit pang computing power at turuan ang mas malalaking model. Kung pinapalaki mo ang karamihan sa computing power mo sa inference, sa isang paraan ay nagpapahayag ka na ang pag-unlad ng AI ay naka-stuck—dahil hindi na mabisa ang pagpapalakas ng investment sa training, at ang iyong negosyo ay naging katulad ng isang cloud service provider. Hindi sumasang-ayon ang mga laboratorio sa ganitong pananaw—naniwala sila na ang mga model na kanilang inilalabas ngayon ay magiging napakaluma sa isang taon, at ang layunin ng kanilang negosyo ngayon ay upang makalikha ng mga business case na magpapatuloy sa pagtatrabaho ng mas matalinong mga model.

Kaya ang natitirang dalawang opsyon: una, ang pagtaas ng margin ng kita ng laboratorio; pangalawa, ang pagtataas ng halaga ng computing power. Kung ang mga nangungunang dalawang o tatlong laboratorio ay malayo nang malaki sa kanilang mga kalaban, mas makikita ang unang epekto. Sa kompetisyon sa merkado, ang margin ng kita ay nakadepende kung gaano kalaking pagkakaiba ang iyong solusyon kumpara sa ikalawang pinakamahusay. Upang maging pangunahing epekto ang unang factor, kailangan ng margin ng kita na higit sa 90% hanggang wakas ng susunod na taon. Ito ay tila sobra sa aking pananaw. Ngunit naniniwala ako na posible na patuloy na lumago ang kita ng AI laboratories sa nakakagulat na bilis.

Kaya, ang huling epekto upang maipaliwanag kung paano maaaring maging totoo ang mundo kung saan ang kita ay tataas nang pabigat hanggang sa $1 trilyon sa dulo ng susunod na taon ay ang malaking pagtaas ng computing power. Tulad ng sinabi ko, nagsisimula na ito. Kung titingnan natin ang uri ng computing power na kailangan ng mga laboratorio, mas makikita natin ang mas malaking pagtaas ng presyo—hindi sila maaaring mag-asa sa spot instances, kailangan nilang siguraduhin ang kaligtasan ng model weights at user data, at kailangan din nila ang sapat na sukat upang makamit ang mabuting utilization at flexibility. Tingnan natin kung gaano karami ang kalokohan sa merkado: ang presyo na binabayaran ni Google at Anthropic para mag-rent ng computing power mula sa SpaceX. Ayon sa mga ulat, nagbabayad si Google ng $900 milyon bawat buwan para mag-rent ng 110,000 GPU, isang mix ng GB200 at GB300. Ito ay humigit-kumulang 2 beses ang presyo ng spot ng mga GPU na ito. At ang kasalukuyang presyo ng spot ay naka-40% na mas mataas kaysa sa Pebrero.

Gusto kong bigyang-diin ang pangunahing konklusyon: Habang lumalakas ang mga AI model, lumalaki rin ang halaga na maaaring ikita ng parehong halaga ng computing power. Kung isang tunay na software engineer na may kakayahan na umabot sa antas ng tao ay maaaring pana-panahon sa isang H100-class device, batay sa kasalukuyang suweldo ng software engineer sa merkado, ang taunang renta ng H100 ay dapat na higit sa $250,000—15 beses ang kasalukuyang presyo sa spot.

Oo, kung biglang dumami ang 10 milyong software engineers, bababa ang marginal value ng mga engineer, kaya't hindi naman sigurado na makakapagproduce ang isang H100 ng 15 beses ang kita ngayon. Ngunit hindi ko talaga sigurado kung tama ang lohikang ito. Kung ilalapat mo ang argumentong ito sa mga tao kaysa sa AI, ito ay ang klasikong "maling paniniwala sa kabuuang puwersa ng paggawa." Ang mga ekonomista ay pangkalahatang naniniwala na hindi bababa sa suweldo ng mga mataas na kasanayan na imigrante sa matagalang panahon, dahil ang pagkakaspecialize at pag-innoBAt ay nagpapataas sa halaga ng puwersa ng paggawa. Baka naman ang pagbabago sa suplay ng puwersa ng paggawa na ito ay sobrang malaki at mabilis upang mabigo ang patakaran na ito. Ngunit kung naniniwala tayo sa standard na ekonomiks tungkol sa puwersa ng paggawa, dapat manatili sa nakakagulat na mataas na antas ang marginal value ng puwersa ng paggawa (at marginal price ng computing power).

Ano ang mangyayari sa mundo?

Lalong lumalaki ang pagkakataon ng mga pangunahing modelo na makakuha ng halaga mula sa computing power, at lalong tumataas ang hirap na makasunod. Kung ang software engineering ay awtomatizado na hanggang 2028 at ang presyo ng computing power ay 15 beses na mas mataas kaysa ngayon, masisiguro na sobrang mahirap makipagkumpitensya sa computing power kung walang kita.

Kung makakapag-train ka ng pinakamahusay at pinakamadali mong modelo, mas mataas ang iyong kita kaysa ngayon. Ito ang epekto ng Alchian-Allen: kapag isang fixed cost ay idinagdag sa dalawang produkto na may iba’t ibang kalidad, mas mabisa ang mas mataas na kalidad, kaya't lumilipat ang demand patungo dito. Kapag tumataas ang presyo ng H100 sa $20 bawat oras, magiging sobrang mahal at bulag na gamitin ang mas mahina at mas hindi epektibong modelo—dahil kailangan mong basahin ang mas maraming token at gamitin ang mas maraming mahal na computing power para makamit ang parehong resulta. Kaya, kung sino man ang makakapag-train ng isang top-tier na modelo na mas mababa sa paggamit ng computing power, maaari niyang ipagbili ito sa mataas na premium. Dahil kailangan mong gawin ang paggastos sa ilalim na computing power kahit anong mangyari, bakit hindi ka lang magdagdag ng kaunting pera at gamitin ang pinakamadali mong modelo na gumagana sa parehong computing power?

Maraming kasalukuyang popular na AI application ang mabubura dahil sa presyo. Ang AI ay kasalukuyang relatibong murang kumpara sa paggawa ng tao, bahagyang dahil sa katotohanang hindi pa ito kayang gawin ang maraming bagay na kayang gawin ng pinakamahusay na tao. Isang araw ay hindi na ito magiging totoo. Sa panahong iyon, ang paggawa ng mga basurang video gamit ang GPU ay magiging sobrang mahal upang maging worth it.

Gayunpaman, ang mga pagtataya na ito ay may katulad na ugnayan sa mga maling pagtataya sa kasaysayan tungkol sa kakulangan. Isipin ko ang taya ni Simon-Ehrlich: pinagtaya ni Paul Ehrlich na ang isang kalipunan ng mga komodidad ay magiging mas mataas kaysa mas mababa sa sampung taon bago ang 1990. Ang tayang ito ay kilala sa mga diskusyon sa pangkalahatang ekonomiya dahil ito ay sinasabing ipinakita ang pagkabigo ng pananaw ni Ehrlich na Malthusian—na siya ay nagkamali sa pagbabala sa mga signal ng merkado at sa kakayahan ng tao na mapagkakasya ang kakulangan sa mga yaman (ngunit may mga pagsusuri na nagpapahiwatig na kung iba ang sampung taon para sa tayang ito, mananalo si Ehrlich).

Nanaisip kong hindi angkop ang大宗商品 bilang batayan para sa computing power, dahil mas maliit ang elasticity ng supply ng computing power kumpara sa pagmimina ng metal, at mas maliit din ang kakayahan nito na absorbyon ng malalaking pagbabago sa demand o paghahanap ng alternatibong solusyon. Ang taunang 3-fold na paglago sa computing power ay mula sa pagmumultiply ng mga sumusunod na numero: 1.4-fold mula sa Moore’s Law, 1.2-fold mula sa pagtatayo ng mga bagong fab (na limitado hanggang 2030 dahil sa kakulangan ng EUV equipment), at 1.8-fold mula sa AI na kumukuha ng advanced node wafer allocation mula sa iba pang device (ang huling ito ay magtatapos sa paligid ng 2027, kung saan ang porsyento ng AI sa N3 wafers ay magpapataas mula sa 60% patungo sa 86%). Sa tatlong multiplier na ito, hindi madali na pataasin ang anumang isa, at ang huli ay magiging maximum sa loob ng isang o dalawang taon habang ang wafer allocation ay magiging saturated.

Gusto kong ipaliwanag na sa isang darating na panahon, ang computing power ay muling magiging mas mura. Isang araw, ang mga robot ay magkakaroon ng kakayahang direkta nang baguhin ang mga silika na buhangin sa tabing-dagat at mga copper mine sa ilalim ng lupaing maging mga computer; sa panahong iyon, ang presyo ng computing power ay dapat mag-return sa antas na malapit sa gastos ng mga materyales at kagamitan. Ang tinutukoy ko ngayon ay ang kasalukuyang yugto lamang—ang AI computing power ay tumataas ng tanging 3 beses bawat taon, isang bilis na hindi kayang makasabay sa pagtaas ng presyo na dulot ng patuloy na pagdami ng halaga ng AI bawat taon.

Sa pagkakasunod, ang kita ng Anthropic ay lumalago ng 10 beses taon-taon, samantalang ang computing power ay lumalago lang ng 3 beses, na nagpapakita na ang negosyo ng model ay may napakalakas na economy of scale. Logikal ito—kapag tinuturuan mo ang isang model, isang beses lang ang gastos sa pag-aaral, at maaaring i-distribute ang gastos na ito sa lahat ng mga user (hindi tulad ng human labor, kung saan kailangan mong turuan muli ang bawat instance). Ayaw kong mabuhay sa isang mundo kung saan ang intelligence ay may napakalakas na economy of scale (dahil natatakot akong magkakaroon ng pagkakaisa ng kapangyarihan). Ngunit tila ganito nga ang katotohanan.