Dinagdagan ng NVIDIA Megatron Core ang suporta para sa Muon at iba pang mga optimizer

iconKuCoinFlash
I-share
Share IconShare IconShare IconShare IconShare IconShare IconCopy
AI summary iconSummary

expand icon
Ibinahay ng NVIDIA ang isang pahayag ng proyekto noong Mayo 5 (UTC+8), na naglalathala na ang kanilang Megatron Core framework ay nagtataglay na ng mga advanced na optimizer tulad ng Muon, MOP, at REKLS. Ang pag-update ay inilaan upang mapabilis ang pag-train ng mga malalaking model. Sinabi ng NVIDIA na ang mga karaniwang paraan ng data parallel ay hindi na sapat para sa mga model tulad ng Kimi K2 at Qwen3 30B. Hindi ibinahay ng kumpanya ang anumang data sa performance o teknikal na detalye. Ang pahayag ng proyekto ay nangyari habang patuloy ang interes sa kung paano maaapektuhan ng data sa inflation ang budget para sa pag-unlad ng AI.

Mensahe ng AIMPACT, Mayo 5 (UTC+8), inanunsyo ng NVIDIA AI na ang kanilang Megatron Core framework ay may end-to-end na suporta na para sa mga bagong emergent na mataas na optimizer tulad ng Muon, at mga research optimizer tulad ng MOP at REKLS, na layunin ay mapabuti ang efisensiya ng pag-train ng malalaking modelo. Sinabi ng opisyal na ang epektibong pag-train ng mga modelo tulad ng Kimi K2 at Qwen3 30B ay nangangailangan ng higit pa sa mga karaniwang teknik ng data parallelism. Sa kasalukuyan, ang mensahe ay hindi inilabas ang mga partikular na performance metrics o implementation details. (Pinagmulan: InFoQ)

Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito. Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.