ByteDance phát hiện lỗi định kỳ trong xử lý văn bản dài của DeepSeek-V4

Tin tức từ ME News, ngày 9 tháng 10 (UTC+8), tin tức nhanh từ Beating AI, nhóm Seed của ByteDance phát hiện rằng DeepSeek-V4 có một điểm yếu mang tính quy luật trong xử lý văn bản dài. Các nhà nghiên cứu yêu cầu mô hình hoàn thành một đoạn mã, trong khi đoạn mã không thay đổi, chỉ kéo dài phần bình luận không liên quan ở phía trước, thì câu trả lời của mô hình sẽ dao động giữa đúng và sai. Phiên bản cơ bản V4-Flash lặp lại chu kỳ mỗi 4 Token, trong khi V4.1-Flash cũng cho hiện tượng tương tự, nhưng chu kỳ giảm xuống còn 2 Token. Vấn đề này liên quan đến kỹ thuật “nén bộ nhớ KV theo khối” mà DeepSeek sử dụng để tiết kiệm bộ nhớ GPU. Mô hình gộp thông tin của vài Token liên tiếp để lưu trữ, giảm chi phí xử lý văn bản dài. Tuy nhiên, việc nén này khiến thông tin ở các vị trí khác nhau được giữ lại với mức độ khác nhau, khiến một số nội dung trở nên khó truy xuất chính xác sau này. ByteDance gọi sự khác biệt tuần hoàn này là “độ nhạy pha”. Trong các bài kiểm tra truy vấn với khoảng 128.000 Token, phiên bản cơ bản V4-Flash cho độ chính xác chênh lệch tối đa 40,2 điểm phần trăm giữa các vị trí khác nhau. Sau quá trình huấn luyện sau, khoảng cách giảm xuống còn 19,1 điểm phần trăm; V4.1-Flash giảm thêm nữa xuống còn 6,1 điểm phần trăm, nhưng sự dao động tuần hoàn vẫn tồn tại. ByteDance còn huấn luyện nhiều mô hình đối chứng từ đầu và phát hiện chu kỳ dao động trùng với bước nén; các mô hình đối chứng không sử dụng nén theo khối không xuất hiện quy luật tương tự. (Nguồn: BlockBeats)