Ipinakilala ng Marvell ang mga solusyon sa memorya ng AI infrastructure upang harapin ang mga bottleneck sa agentic AI inference

iconTechFlow
I-share
AI summary iconSummary
Ipinakilala ni Marvell ang mga solusyon sa memory ng AI infrastructure upang harapin ang mga bottleneck sa Agentic AI inference. Ang mga bagong alokasyon ay kasama ang AI storage sa antas ng server, rack-level na CXL memory expansion, at multi-cabinet optical interconnect shared memory. Habang lumalaki ang mga AI model, mahalaga ang paghihiwalay ng memory at compute. Ang memory disaggregation ay nagpapalakas ng efficiency ng GPU at nagpapababa ng latency. Ang balita tungkol sa AI + crypto ay patuloy na nagpapakita ng pag-innoBAt sa infrastructure. Madalas na sumunod ang mga bagong listing ng token sa mga malalaking teknolohikal na pag-unlad sa larangan.

Ang pangunahing tagapaglilikha ng semiconductor para sa data infrastructure, Marvell Technology, ay inihayag ang paglunsad ng isang bagong serye ng solusyon sa memory para sa AI infrastructure, na sumasakop sa server-grade AI storage, rack-level CXL memory extension at pooling, at multi-rack optical interconnect shared memory, na naglalayong lutasin ang patuloy na pagtaas ng mga bottleneck sa kapasidad at bandwidth ng memory sa proseso ng Agentic AI inference. Sinasabi ni Marvell na habang lumalaki ang sukat ng AI models, lumalawak ang context window, at tumataas ang pangangailangan sa KV Cache, ang tradisyonal na arkitekturang malapit na nag-uugnay sa computation at memory ay nagiging hadlang sa efficiency ng AI inference. Sa pamamagitan ng memory disaggregation, mas magiging independiyente ang paglalawak ng memory resources mula sa computation resources, na nagpapataas sa paggamit ng GPU at nagpapababa sa latency ng paggalaw ng data.

Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito. Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.