ByteDance обнаружила периодические ошибки в обработке длинных текстов DeepSeek-V4

Согласно новости ME, 9 октября (UTC+8),快讯 от Beating AI, команда Seed ByteDance обнаружила, что DeepSeek-V4 обладает регулярной слабостью при обработке длинных текстов. Исследователи попросили модель дополнить фрагмент кода, при этом сам код оставался неизменным, а перед ним добавлялась длинная незначимая комментарий; в ответе модель периодически переключалась между правильным и неправильным вариантом. У базовой версии V4-Flash цикл повторялся каждые 4 токена, а у V4.1-Flash наблюдалось аналогичное явление, но с циклом в 2 токена. Проблема связана с методом «сжатия KV-кэша по блокам», используемым DeepSeek для экономии видеопамяти. Модель объединяет информацию нескольких последовательных токенов для снижения затрат на обработку длинных текстов. Однако такое сжатие приводит к неравномерному сохранению информации на разных позициях — некоторые фрагменты труднее точно восстановить позже. ByteDance назвала эту периодическую разницу в извлечении «фазовой чувствительностью». В тестах на извлечение около 128 000 токенов базовая версия V4-Flash показала максимальную разницу в точности между различными позициями в 40,2 процентных пункта. После дообучения разница сократилась до 19,1 процентных пункта; у V4.1-Flash она дополнительно снизилась до 6,1 процентного пункта, но периодические колебания сохранились. ByteDance также обучила с нуля несколько контрольных моделей и обнаружила, что период колебаний совпадает с шагом сжатия — контрольные модели без использования блочного сжатия не демонстрировали подобной закономерности. (Источник: BlockBeats)