Pagkatapos makapasok ang AI models sa malawakang paggamit, patuloy na tumataas ang pangangailangan ng market sa computing power para sa inference. Sa pagkakaiba sa training phase, ang mga model sa online paggawa ng sagot at pagpapatupad ng agent tasks ay may iba’t ibang mga kinakailangan sa chip architecture, latency, at deployment cost. Ayon sa TechCrunch, ang inference cloud service provider na General Compute ay sinusubukang magsulong ng isang mas magaan na deployment solution upang mabuhay sa larangan na ito.
Kumpletong General Compute ang kanilang $15 milyong seed round ng pagsasakop, na may post-money valuation na $60 milyon. Pinunuan ng FUSE VC ang round na ito, kasama ang Carya Venture Partners at Village Global Ventures. Ipinapakilala ng kumpanya ang sarili bilang “推理 neocloud,” na pangunahing naglalabas ng AI processing power na kailangan sa pagpapatakbo ng mga modelo.
Bet on SambaNova inference chip
Sa merkado ng AI infrastructure, ang GPU ay patuloy na pangunahing pagpipilian, ngunit patuloy na dumadami ang mga kumpanya na nagtataya sa mga chip na espesyalisado sa mga senaryo ng inference. Binanggit ng ulat na ang General Compute ay pumili na makipagtulungan sa SambaNova kaysa direktang maghabol sa mas mahigpit na mga mapagkukunan ng GPU.
Ang SambaNova ay isang chip company na sinuportahan ng Intel, na mahabang panahon ay nakatuon sa inference computing. Ayon sa co-founder ng General Compute, ang bagong chip na ipapalabas ng SambaNova sa taong ito ay magiging mas may kakayahang magbigay ng mas malaking context memory sa inference, at mas flexible ang arkitektura. Ayon sa kompanya, ang bagong chip ay maaaring makamit ang bilis na 600 hanggang 700 token bawat segundo, habang ang GPU ay nasa paligid na 250 token bawat segundo.
Ang General Compute ay nagpapahayag na nag-order na ng mga chip na SambaNova SN50 na may halagang $300 milyon at magiging ang unang neocloud company na magde-deploy ng mga chip na ito.
Maaaring direkta ng i-deploy ang umiiral na data center
Bukod sa pagkakaroon ng chip, ang isa pang hamon sa pagpapalawig ng AI computing power ay ang pagpapatakbo ng data center. Kailangan ng maraming high-performance AI chip ang liquid cooling at mas mataas na konfigurasyon ng kuryente, na nagpapataas sa gastos ng pagpapabago ng data center at nagpapahaba sa panahon ng pagpapalabas.
Ang solusyon na ibinigay ng General Compute ay ang paggamit ng mga inference chip na may air cooling at mas mababang power consumption. Sa ganitong paraan, ang mga aparato ay maaaring diretso na i-install sa umiiral na data center nang hindi kailangang gawin ang malawakang pag-upgrade sa infrastruktura. Para sa isang bagong kumpanya sa inference cloud, ang ibig sabihin nito ay mas mabilis na makakabuo ng mga compute power na maaaring i-rent.
Kasalukuyang pinapagawa ng kumpanya ang mga kooperasyon sa pagtatago upang ilagay ang kanilang sariling hardware sa mga pabrika ng third party. Kasama sa mga kakilala ang mga tradisyonal na operator ng data center, pati na rin ang mga kumpanya sa pagmimina ng cryptocurrency na naghahanap ng pagbabago. Ipinahayag ng ulat na sa ilang panahon, mas mataas ang gastos sa paggawa ng Bitcoin kaysa sa presyo sa merkado, na nagpapadali sa ilang mina na hanapin ang ibang gamit para sa kanilang imprastruktura.
Ang kompetisyon sa cloud computing ay umuunlad patungo sa bilis at gastos
Noong nakaraang linggo, inilunsad ng General Compute ang kanilang cloud service at sinabi na mas mabilis ito sa pagpapatakbo ng open-source na malaking modelo na MiniMax 2.7. Nais ng kumpanya na maabot ang pagpapabilis ng mga gawain para sa code agent mula sa isang oras hanggang 5 hanggang 10 minuto, at mabawasan din ang gastos sa pagpapatakbo para sa mga real-time na aplikasyon tulad ng voice agent sa customer service.
Naniniwala ang investor na si Joe Hassleman na ang pakikipagtulungan na ito ay may katulad na karanasan sa paglago ng CoreWeave sa pamamagitan ng Nvidia noong unang panahon. Para sa SambaNova, ang General Compute ay mahalagang daan para sa kanilang chip na makapasok sa mga mataas na paglago na sitwasyon.
Naniniwala ang ulat na ang inference cloud ay nagtataya sa isang merkado na may maraming modelo at maraming agent. Kung sa hinaharap ay walang iisang provider ng modelo na magiging monopolista, ang bilis ng inference at ang unit cost ay magiging mas direkta mga indikador ng kompetisyon. Ang kamakailang pagkakaroon ng $113 milyong pagsasapalaran ng B round ng OpenRouter ay nagpapakita rin na tumataas ang pangangailangan ng merkado para sa pag-access sa maraming modelo at pag-optimize ng token cost.