Ang mga startup sa AI chip ay nagtutol sa dominasyon ng NVIDIA gamit ang anim na paraan ng pagpapabuti ng paggalaw ng data

ME AI mensahe, ang investor ni Anthropic na si Deedy ay nagturo na ang lahat ng startup na nag-aaral ng susunod na henerasyon ng AI chip ay nagtatangkang pabagsakin ang dominasyon ni NVIDIA sa iba’t ibang paraan, naghahanap ng solusyon sa pangunahing problema ng “data movement.” Ang anim na paraan ng pagkakaiba-iba ay: pag-alis ng DRAM (Groq, na kinuha ni NVIDIA sa halagang $20 bilyon), pag-alis ng interconnect (Cerebras, na nakapag-lista na sa halagang halos $48 bilyon), pag-alis ng pagkakahiwalay ng computation at memory (d-Matrix), pag-alis ng server architecture na centered sa computation (Majestic), pag-alis ng generality (Etched, Taalas, MatX), at pag-alis ng photolithography machine na may halagang $400 milyon (Substrate). Ang listing at acquisition price ni Cerebras at Groq ay nagtakda ng pricing benchmark para sa buong AI chip sector, habang ang valuation ni Etched ay dumoble sa $10.3 bilyon sa linggong ito, at mula sa isang mapayapang kalagayan ay biglang lumitaw sa loob ng tatlong linggo, na nagpapatibay na ang kapital ay mabilis na nagre-reevaluate sa pricing ng sector na ito. Sa 18 pangunahing startup, ang kabuuang paper value ng mga private company ay halos $58 bilyon, samantalang ang public market market cap ay $48 bilyon, na kumakapal sa mga segment tulad ng inference, training/new architecture, system, at wafer fab at photolithography. Ang bawat path ay tumatama sa pangunahing aksiyoma ng GPU architecture ni NVIDIA—na ang paggalaw ng data sa pagitan ng computation unit at memory ay nagkakahalaga ng oras at enerhiya. Ang Groq ay nagpalit ng DRAM gamit ang SRAM upang alisin ang latency sa memory hierarchy, ang Cerebras ay nag-alis ng bottleneck sa chip-to-chip interconnect gamit ang wafer-scale chip, ang d-Matrix ay gumagawa ng computation nang direkta sa memory, samantalang ang Etched ay tumigil sa generality at nagdisenyo lamang ng hardware para sa Transformer architecture. Ang ekosistema ng AI chip startup ay naging mula sa isang simpleng narrative na “alternative sa GPU” patungo sa isang multi-point attack sa antas ng arkitektura. Ang pagkuha ni NVIDIA kay Groq ay isang aktibong pagkilos upang maging bahagi ng proseso, na nagpapakita na alam nito na ang susunod na labanan ay hindi na tungkol sa peak compute power kundi sa ganap na pag-reconstruct ng efficiency sa data movement. (Source: BlockBeats)