source avatartwoeraserheads 🇨🇦

I-share

Ano ang problema na lutas ng CPOs? Ang mga cluster para sa pagtatrain at pag-infer ng AI ay hindi lamang limitado sa compute kundi pati na rin sa networking. Habang tumataas ang mga cluster ng GPU sa mga tens o hundreds of thousands ng GPU, tatlong hadlang ang lumalabas nang sabay-sabay: 1. Ang hadlang sa bandwidth: bawat bagong henerasyon ng GPU (H100 → B200 → Rubin) ay nangangailangan ng mas malaking I/O bandwidth bawat chip upang mapanatili ang pagpapagana ng compute. Dapat tumubo nang mas mabilis ang interconnect bandwidth kaysa sa compute FLOPs (floating-point operations per second, na isang yunit na ginagamit upang sukatin ang processing power ng computer para sa kompleks na math), o magiging idle ang mga GPU habang naghihintay sa data. 2. Ang hadlang sa kapangyarihan: Ang konsepto ng AI data center na may kapasidad sa isang gigawatt, ayon kay Jensen Huang ng Nvidia, ay naglalayon ng mga facility na kumakain ng isang gigawatt o higit pa ng kapangyarihan, at bawat watt na ginagastusan para ilipat ang mga bit sa pagitan ng mga chip ay isang watt na hindi ginagamit para sa pag-compute. Ang karaniwang electrical/optical signaling ay nagpapagastos ng maraming kapangyarihan lamang upang maipadala at maipadala ang data sa loob at labas ng isang package. 3. Ang hadlang sa sakop: ang mga copper interconnects (NVLink, PCIe traces) ay naging lossy + malakas sa paggamit ng enerhiya pagkatapos ng ilang metro sa mga signaling speed na kailangan ng AI (100G+ bawat lane). Ang optics ay walang penalty sa distansya, ngunit ang pagkukumberto sa pagitan ng electrical at optical domains ay nagpapagastos ng enerhiya at nagdaragdag ng mga komponente. Ang co-packaged optics ay ang sagot sa lahat ng tatlo nang sabay-sabay: sa halip na ikumberto ang data sa liwanag sa dulo ng isang board, ikakalma mo ang optical engine nang malapit na posible sa silicon na gumagawa ng data. Ibig sabihin, nasa parehong package substrate bilang ang switch ASIC o GPU mismo.

Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito. Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.