BlockBeats na mensahe, ika-26 ng Hulyo, sinabi ng investor ni Anthropic na si Deedy na ang lahat ng startups na nag-aaral ng susunod na henerasyon ng AI chip ay nagtatangkang pabagsakin ang dominasyon ni NVIDIA sa iba’t ibang paraan, naghahanap ng solusyon sa pangunahing problema ng "data movement," na may animang paraan ng pagkakaiba: pag-alis ng DRAM (Groq, na binili na ni NVIDIA sa halagang $20 bilyon), pag-alis ng interconnect (Cerebras, na nakalista na sa halagang humigit-kumulang $48 bilyon), pag-alis ng pagkakahiwalay ng computation at memory (d-Matrix), pag-alis ng server architecture na centered sa computation (Majestic), pag-alis ng generality (Etched, Taalas, MatX), at pag-alis ng photolithography machine na may halagang $400 milyon (Substrate).
Ang pag-lista at pagbili ng Cerebras at Groq ay nagtakda ng benchmark na presyo para sa buong sektor ng AI chip, habang ang Etched ay nag-doubles ang valuation nito sa linggong ito patungo sa $10.3 bilyon, isang biglaang pag-usbong mula sa kahinaan sa loob ng tatlong linggo, na nagpapatibay na ang kapital ay mabilis na nagrer-evalue sa presyo ng sektor na ito. Sa mga 18 pangunahing startup, ang kabuuang paper value ng mga private company ay humigit-kumulang $58 bilyon, habang ang market value sa public market ay humigit-kumulang $48 bilyon, na kumakatawan sa iba’t ibang segment tulad ng inference, training/new architecture, system, at wafer fab at lithography.
Ang bawat ruta ay nagtatalikod sa pangunahing aksiyoma ng GPU arkitektura ni NVIDIA—na ang paggalaw ng data sa pagitan ng mga unit ng komputasyon at memorya ay nagkakahalaga ng oras at enerhiya. Ang Groq ay nag-alis ng latency sa mga antas ng memorya sa pamamagitan ng paggamit ng SRAM sa halip na DRAM, ang Cerebras ay nag-alis ng mga bottleneck sa pagitan ng mga chip sa pamamagitan ng wafer-scale chip, ang d-Matrix ay nagpapatupad ng komputasyon nang direkta sa loob ng memorya, at ang Etched ay nagpapabaya sa pangkalahatang paggamit upang disenyo ang hardware para sa Transformer arkitektura lamang. Ang ekosistema ng mga startup sa AI chip ay nagsilbi mula sa isang nakapokus na istorya ng pagpapalit sa GPU patungo sa maraming pagsalakay sa antas ng arkitektura. Ang pagkuha ni NVIDIA sa Groq ay isang aktibong pagkilos upang maging bahagi ng proseso, at ipinapakita nito na nauunawaan nito na ang pangunahing kompetisyon sa susunod na henerasyon ay hindi na ang peak computing power, kundi ang ganap na pagbabago sa epekto ng paggalaw ng data.