Ang Amazon Web Services, ang dakilang kumpanya sa cloud computing na nagpapagana sa isang nakakagulat na bahagi ng internet, ay gumagawa ng isang bagay na tila kakaibang maayos para sa isang kumpanyang may halaga ng trilyon dolyar: humihingi sa kanilang mga inhinyero na patayin ang mga computer na hindi nila ginagamit.
Ang direktiba ay nakatuon sa mga walang ginagawang EC2 instances, ang mga virtual server na bumubuo sa pundasyon ng cloud infrastructure ng AWS. Habang ang mga AI workload ay umiinom ng kapasidad ng GPU sa isang patuloy na pagbilis, kahit ang pinakamalaking cloud provider sa mundo ay nadarama ang presyon.
Ang laki ng problema sa basura
Ang mga numero ay naglalarawan ng nakakagulat na kawalan ng epiisyo. Halos 65% ng mga EC2 instance ay may average CPU utilization na mas mababa sa 20% sa loob ng 30-araw na panahon ng pagsusuri.
Ang Compute Optimizer tool ng AWS ay na-upgrade upang makahanap ng mga ghost server na ito. Ngayon ay sinusuri nito ang CPU utilization at network I/O sa mga panahon ng 14-araw na pagtingin, at inilalabas ang mga instance kung saan ang peak CPU ay nananatiling mas mababa sa 5% at ang network traffic ay maliliit.
Idiniskubre ni Amazon CEO na si Andy Jassy na dagdagan ng AWS ng higit sa 3.8 gigawatts ang kapasidad ng enerhiya noong nakaraang taon. Para sa konteksto, sapat na ito na elektrisidad upang palakasin ang halos 2.8 milyong tahanan. Plano ng kumpanya na i-doubel ang kapasidad nito hanggang 2027.
Ang pangangailangan sa AI ay nagpapabagsak sa ekonomiks
Ang pagkakaroon ng kakulangan sa kapasidad ay may malinaw na dahilan: artificial intelligence. Ang mga instance na may GPU acceleration, ang mga pangunahing kasangkapan sa pagtatrabaho at pagpapatakbo ng malalaking language models, ay naging pinakakakulang na yaman sa cloud computing.
Nakikita ang presyong presyon na ito nang direkta sa presyo. Ang EC2 Capacity Blocks para sa machine learning ay nakaranas ng tumaas na halos 15% noong Enero, sumunod ng isa pang tumaas na halos 20% hanggang sa Hulyo. Dalawang pagtaas ng presyo sa loob ng anim na buwan para sa parehong serbisyo ay nagpapakita ng hindi pagkakasundo sa suplay at demand.
Ang patuloy na kakulangan sa GPU ay sinasabing nagpilit sa ilang mga customer ng AWS na isipin ang paglipat ng mga operasyon sa mga kumpetidor na cloud provider.
Ano ang ibig sabihin nito para sa cloud market
Para sa mga negosyo na nagpapatakbo ng mga workload sa AWS, ang takbo ng presyo ay dapat maging tulong sa pagmamasid. Ang dalawang malaking pagtaas ng presyo sa ML capacity blocks sa loob ng isang taon ay nagpapakita na ang mga kumpanya na malalaking nakabatay sa cloud-based AI processing ay dapat magplano para sa patuloy na pagtaas ng gastos.
Hindi lamang isang problema ng AWS ang 65% na underutilization. Ito ay nagpapakita ng mga gawi sa buong industriya ng pag-over-provisioning ng mga yunit dahil laging mas madali ang pagbuo ng isang bagong instance kaysa sa pag-right-size ng umiiral na isa.
Ang plano ni Amazon na palakasin ang kapasidad ng kanilang data center ng dalawang beses hanggang 2027 ay isa sa pinakamalalaking pagbuo ng infrastruktura sa kasaysayan ng korporasyon. Ngunit sa pagitan ngayon at noon, tila hinahawakan ng kompanya ang parehong paraan: itayo ang mas maraming kapasidad habang pinapakita ang mas maraming gamit sa mga umiiral na yunit.