Ang pre-training ay maaaring matapos sa 12 araw, ngunit ang reinforcement learning ng Beam ay gumamit ng 10,500 na GB300 na naka-burn sa loob ng apat na linggo. Si Misha Laskin, co-founder at CEO ng Reflection AI @reflection_ai, ay inilahad ang mga detalye ng pag-train ng open-source model na Beam. Ang kumpanya, na itinatag ng dalawang dating researcher ng Google DeepMind bago ang 2026, ay nakakuha ng bagong pondo noong Abril na may pre-money valuation na $25 bilyon. Ang Beam ay may kabuuang 501B na parameter at 23B na aktibong parameter, na nagsasabing 23.8 trilyon na token ang ginamit sa pre-training, at ang weights ay inilabas na sa October 16 sa ilalim ng Apache 2.0 license. Ang allocation ng computing power sa dalawang yugto ay kabaligtaran. Ang pre-training ay ginawa sa 6,144 na GB300 NVL72, at ayon sa kanya, maaari itong matapos sa halos 12 araw gamit ang kasalukuyang infrastructure. Sa panahon ng RL, ginamit ang 10,500 na parehong chip at patuloy na nagtrabaho sa loob ng apat na linggo—nagiging katumbas ng halos 40,000 GB300-weeks, na apat na beses ang dami kumpara sa halos 10,000 GB300-weeks sa pre-training—at kahit paano, mas marami ang ginamit na FLOPs.
0xMediaI-share

Source:Ipakita ang original
Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito.
Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.