ByteDance découvre des erreurs périodiques dans le traitement des longs textes par DeepSeek-V4

Selon les nouvelles de ME, le 9 octobre (UTC+8), selon un rapport de Beating AI, l'équipe Seed de ByteDance a découvert une faiblesse périodique dans le traitement des longs textes par DeepSeek-V4. Les chercheurs ont demandé au modèle de compléter un code dont le contenu n'était pas modifié, mais dont un commentaire sans importance avait été allongé à l'avance ; la réponse du modèle oscillait alors entre correcte et incorrecte. La version de base de V4-Flash présente un cycle de répétition tous les 4 tokens, et V4.1-Flash montre un phénomène similaire, avec un cycle réduit à 2 tokens. Ce problème est lié à la « compression du cache KV par blocs » utilisée par DeepSeek pour économiser de la mémoire GPU. Le modèle combine et stocke les informations de plusieurs tokens consécutifs afin de réduire le coût de traitement des textes longs. Toutefois, cette compression entraîne une conservation inégale des informations selon leur position, rendant certaines parties plus difficiles à récupérer précisément par la suite. ByteDance a désigné cette différence périodique de récupération comme une « sensibilité de phase ». Lors de tests de récupération sur environ 128 000 tokens, la version de base de V4-Flash présentait une différence maximale de 40,2 points de pourcentage entre les taux de précision selon les positions. Après un fine-tuning, cette différence a été réduite à 19,1 points ; pour V4.1-Flash, elle a été encore réduite à 6,1 points, mais les fluctuations périodiques persistent. ByteDance a également entraîné à partir de zéro plusieurs modèles témoins et a constaté que la période des fluctuations correspondait exactement à la taille du pas de compression ; les modèles témoins n'utilisant pas la compression par blocs n'ont pas présenté ce même phénomène. (Source : BlockBeats)