ByteDance libera abertamente o modelo multimodal de 3 bilhões de parâmetros Lance, treinado em 128 GPUs A100

Notícia da ME, 19 de maio (UTC+8), segundo monitoramento da Beating, a ByteDance Research lançou oficialmente como código aberto o modelo multmodal unificado nativo Lance. Este é um modelo leve com apenas 3B de parâmetros ativados, capaz de suportar simultaneamente, em um único framework, a compreensão, geração e edição de imagens e vídeos. Atualmente, os principais modelos unificados dependem fortemente de aumentar o número de parâmetros ou de utilizar arquiteturas de texto para imagem; Lance, porém, implementou uma abordagem colaborativa com baixíssimo consumo de computação. A equipe de desenvolvimento treinou o modelo totalmente do zero e reduziu o orçamento total de cálculo durante todo o ciclo de treinamento para apenas 128 GPUs A100. Para resolver conflitos internos entre diferentes modalidades e tarefas, Lance implementou duas isolamentos rígidos na arquitetura: - Utiliza uma arquitetura híbrida de Mixture of Experts (MoE) para processar sequências multimodais entrelaçadas, desacoplando os caminhos computacionais de compreensão e geração, enquanto compartilha o contexto subjacente. - Introduz codificação de posição rotacional sensível à modalidade, reduzindo diretamente a interferência de sinal entre tokens visuais heterogêneos de imagens e vídeos. A compressão extrema de recursos computacionais não reduziu o limite de desempenho. Com apenas 3B de parâmetros ativados, o Lance lidera a maioria dos testes de referência em geração e edição de imagens e vídeos em comparação com outros modelos unificados abertos existentes, demonstrando uma rota de baixo custo que combina geração e compreensão semântica com parâmetros reduzidos. (Fonte: BlockBeats)