ME News, 9 жовтня (UTC+8), Beating AI — останні новини: команда Seed з ByteDance виявила, що DeepSeek-V4 має регулярну слабкість при обробці довгих текстів. Дослідники попросили модель доповнити фрагмент коду, де сам код не змінювався, але попередній коментар без значення був подовжений — відповідь моделі почала переключатися між правильною та неправильною. У базовій версії V4-Flash цикл повторювався кожні 4 токени, а у V4.1-Flash спостерігалася подібна тенденція, але з періодом у 2 токени. Проблема пов’язана з «стисканням KV-кешу блоками», яке використовується DeepSeek для економії відеопам’яті. Модель об’єднує інформацію з кількох послідовних токенів, щоб зменшити витрати на обробку довгих текстів. Однак такий стиск призводить до нерівномірного збереження інформації з різних позицій — деякі фрагменти важче точно відновити пізніше. ByteDance назвала цю періодичну різницю в пошуку «фазовою чутливістю». У тестах на пошук із 128 000 токенів базова версія V4-Flash показала розбіжність у точності до 40,2 процентних пунктів між різними позиціями. Після доопрацювання розрив скоротився до 19,1 процентного пункта; у V4.1-Flash — до 6,1 процентного пункта, але періодичні коливання залишилися. ByteDance також навчила з нуля кілька контрольних моделей і виявила, що період коливань збігається з кроком стиснення — контрольні моделі без блокового стиснення не демонстрували такої закономірності. (Джерело: BlockBeats)
ByteDance виявила періодичні помилки у обробці довгих текстів DeepSeek-V4
KuCoinFlashПоділитися
Короткий зміст
Інвестування за цінністю у криптовалюті піддається новому аналізу, оскільки команда Seed компанії ByteDance виявила періодичні помилки у обробці довгих текстів DeepSeek-V4. Коли моделі подаються однаковий код із розширеними коментарями, вона чергуватиме між правильними та неправильними вихідними даними. Цей недолік виникає через стиснення чанкованого KV-кешу DeepSeek, яке об’єднує токени для збереження пам’яті, але призводить до нерівномірного зберігання даних. У тестах із 128 000 токенів точність V4-Flash варіювалася до 40,2 відсоткових пунктів. Після доопрацювання це зменшилося до 19,1, а у V4.1-Flash — до 6,1, хоча періодичні проблеми все ще існують.
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації.
Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.