Ibinahagi ng ByteDance ang open-source na 3B-parameter na multimodal na modelo na Lance, na itinuturo sa 128 A100 GPUs

Ayon sa ME News, noong Mayo 19 (UTC+8), ayon sa pagmamasid ng Beating, ang ByteDance Research ay opisyal na inilabas ang Lance, ang kanilang orihinal na unibersal na multimodal na malaking modelo. Ito ay isang magaan na modelo na may 3B lamang na aktibong parameter, at sumusuporta nang sabay sa pag-unawa, paggawa, at pag-edit ng imahe at video sa loob ng iisang framework. Ang mga pangunahing unibersal na modelo ay nakadepende sa pagpapalaki ng bilang ng parameter o paggamit ng arkitekturang text-to-image, ngunit ang Lance ay nagtagumpay sa isang paraan na gumagamit ng mababang compute power. Ang koponan ng pagpapalikha ay nagtrabaho mula sa sero, at pinababa ang kabuuang budget sa compute para sa buong proseso ng pagtuturo hanggang sa 128 na A100 GPU. Upang lutasin ang mga panloob na konflikto sa pagitan ng iba’t ibang modalidad at gawain, ginawa ng Lance dalawang pilit na paghihiwalay sa arkitektura: - Gumamit ng dual-stream hybrid Mixture-of-Experts (MoE) arkitektura upang tratuhin ang mga interwoven na multimodal na sequence, habang nagbabahagi ng pangunahing konteksto, ngunit naghihiwalay ang mga computasyonal na landas para sa pag-unawa at paggawa. - Ipinakilala ang modalidad-aware rotational position encoding upang direktang mapabawasan ang interferences sa pagitan ng heterogenous visual tokens ng imahe at video. Ang ekstremong pagpapaliit sa compute power ay hindi binaba ang limitasyon ng performance. Sa pamamagitan lamang ng 3B na aktibong parameter, ang mga pagganap ng Lance sa paggawa at pag-edit ng imahe at video ay nangunguna sa karamihan sa mga benchmark test kumpara sa iba pang open-source na unibersal na modelo, at nagtagumpay sa isang mababang gastos na paraan na nagtataguyod ng parehong paggawa at semantic understanding sa pamamagitan ng multi-task collaboration. (Pinagkunan: BlockBeats)