ME News 消息，10 月 9 日（UTC+8），動察 Beating AI 快訊，字節跳動 Seed 團隊發現，DeepSeek-V4 在長文本處理中存在一種規律性弱點。研究人員讓模型補全一段代碼，代碼本身沒有變化，只延長了前面一段無關註釋，模型的答案就會在正確和錯誤之間來回切換。V4-Flash 基礎版每隔 4 個 Token 重複一輪，V4.1-Flash 也存在類似現象，週期變成 2 個 Token。 問題與 DeepSeek 節省顯存的「分塊 KV 緩存壓縮」有關。模型會把連續幾個 Token 的資訊合併保存，降低處理長文本的成本。但這種壓縮會讓不同位置的資訊得到不同程度的保留，某些位置的內容更難在之後被準確找回。字節將這種週期性檢索差異稱為「相位敏感性」。 在約 12.8 萬 Token 的檢索測試中，V4-Flash 基礎版在不同位置上的準確率最高相差 40.2 個百分點。經過後訓練，差距縮至 19.1 個百分點；V4.1-Flash 進一步縮至 6.1 個百分點，但週期性波動仍然存在。字節還從零訓練了多組對照模型，發現波動週期與壓縮步幅一致，未使用分塊壓縮的對照模型沒有出現相同規律。（來源：BlockBeats）
字節跳動發現 DeepSeek-V4 在長文本處理中存在週期性錯誤
KuCoinFlash分享
精華摘要
隨著字節跳動的 Seed 團隊發現 DeepSeek-V4 在處理長文本時存在週期性錯誤，加密貨幣的價值投資正面臨新的審視。當輸入帶有擴展註釋的相同代碼時，該模型會在正確與錯誤輸出之間交替。此缺陷源於 DeepSeek 的分塊 KV 緩存壓縮機制，該機制為節省記憶體而合併標記，卻導致數據保留不均。在 128,000 個標記的測試中，V4-Flash 的準確率差異最高達 40.2 個百分點。經過後訓練，此差異降至 19.1，而在 V4.1-Flash 中進一步降至 6.1，但週期性問題仍存在。
來源:顯示原文
免責聲明：本頁面資訊可能來自第三方，不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用，不構成任何形式的陳述或保證，也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏，或因使用該資訊而導致的任何結果不承擔任何責任。
虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息，請參閱我們的使用條款和風險披露 。