ByteDance descobre erros periódicos no processamento de textos longos do DeepSeek-V4

Notícia da ME, 9 de outubro (UTC+8), boletim rápido da Beating AI: a equipe Seed do ByteDance descobriu que o DeepSeek-V4 apresenta uma fraqueza periódica no processamento de textos longos. Os pesquisadores solicitaram ao modelo completar um trecho de código, mantendo o código inalterado e apenas alongando um comentário sem importância na frente; a resposta do modelo passava a alternar entre correta e incorreta. A versão básica do V4-Flash apresenta um ciclo repetitivo a cada 4 tokens; o V4.1-Flash exibe fenômeno semelhante, com o ciclo reduzido para 2 tokens. O problema está relacionado à “compressão de cache KV por blocos” utilizada pelo DeepSeek para economizar memória gráfica. O modelo combina e armazena informações de vários tokens consecutivos, reduzindo o custo de processamento de textos longos. Contudo, essa compressão resulta em retenção desigual das informações em diferentes posições, tornando mais difícil recuperar com precisão certos conteúdos posteriormente. O ByteDance denominou essa diferença periódica de recuperação de “sensibilidade de fase”. Em testes de recuperação de cerca de 128 mil tokens, a versão básica do V4-Flash apresentou uma diferença máxima de 40,2 pontos percentuais na precisão entre diferentes posições. Após o pós-treinamento, essa diferença reduziu-se para 19,1 pontos percentuais; o V4.1-Flash reduziu ainda mais para 6,1 pontos percentuais, mas as flutuações periódicas persistiram. O ByteDance também treinou do zero vários modelos de controle, descobrindo que o ciclo de flutuação coincide exatamente com o passo de compressão; os modelos de controle que não utilizaram compressão por blocos não apresentaram esse padrão. (Fonte: BlockBeats)