Berita ME, 9 Oktober (UTC+8), Berita Cepat Beating AI, tim Seed ByteDance menemukan bahwa DeepSeek-V4 memiliki kelemahan berulang dalam pemrosesan teks panjang. Para peneliti meminta model untuk melengkapi sepotong kode, di mana kode itu sendiri tidak berubah, hanya dengan memperpanjang komentar tanpa makna di depannya; jawaban model akan bergantian antara benar dan salah. Versi dasar V4-Flash mengalami siklus pengulangan setiap 4 Token, sementara V4.1-Flash menunjukkan fenomena serupa, dengan periode berubah menjadi 2 Token. Masalah ini terkait dengan "kompresi cache KV blok" yang digunakan DeepSeek untuk menghemat memori GPU. Model menggabungkan dan menyimpan informasi dari beberapa Token berturut-turut untuk mengurangi biaya pemrosesan teks panjang. Namun, kompresi ini menyebabkan informasi dari posisi berbeda dipertahankan dengan tingkat yang berbeda, sehingga konten di beberapa posisi menjadi lebih sulit diambil kembali dengan akurat. ByteDance menyebut perbedaan retrieval periodik ini sebagai "fase-sensitivitas." Dalam pengujian retrieval sekitar 128.000 Token, versi dasar V4-Flash menunjukkan perbedaan akurasi maksimum hingga 40,2 poin persentase di berbagai posisi. Setelah pelatihan lanjutan, selisihnya berkurang menjadi 19,1 poin persentase; V4.1-Flash lebih lanjut menguranginya menjadi 6,1 poin persentase, tetapi fluktuasi periodik tetap ada. ByteDance juga melatih beberapa model kontrol dari awal dan menemukan bahwa periode fluktuasi konsisten dengan langkah kompresi; model kontrol yang tidak menggunakan kompresi blok tidak menunjukkan pola yang sama. (Sumber: BlockBeats)
ByteDance Menemukan Kesalahan Periodik dalam Pemrosesan Teks Panjang DeepSeek-V4
KuCoinFlashBagikan
Ringkasan
Investasi bernilai dalam kripto menghadapi tinjauan baru setelah tim Seed dari ByteDance menemukan kesalahan periodik dalam pemrosesan teks panjang DeepSeek-V4. Ketika diberi kode yang sama dengan komentar yang diperpanjang, model ini bergantian antara output yang benar dan salah. Cacat ini berasal dari kompresi cache KV terpisah milik DeepSeek, yang menggabungkan token untuk menghemat memori tetapi menyebabkan retensi data yang tidak merata. Dalam pengujian 128.000 token, akurasi V4-Flash bervariasi hingga 40,2 poin persentase. Pelatihan ulang mengurangi ini menjadi 19,1, dan 6,1 pada V4.1-Flash, meskipun masalah periodik masih ada.
Sumber:Tampilkan versi asli
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini.
Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.