Berita ME, 9 Oktober (UTC+8), Laporan Cepat Beating AI, tim Seed ByteDance menemukan bahawa DeepSeek-V4 mempunyai kelemahan berpola dalam pemprosesan teks panjang. Para penyelidik meminta model untuk melengkapkan satu potong kod, di mana kod itu sendiri tidak berubah, hanya komen tanpa makna di depannya diperpanjang; jawapan model akan berfluktuasi antara betul dan salah. Versi asas V4-Flash mengulangi pola setiap 4 Token, manakala V4.1-Flash juga menunjukkan fenomena serupa, dengan kitaran berkurang kepada 2 Token. Masalah ini berkaitan dengan “kompresi cache KV berbahagian” yang digunakan DeepSeek untuk mengurangkan penggunaan memori GPU. Model menggabungkan dan menyimpan maklumat beberapa Token berturut-turut untuk mengurangkan kos pemprosesan teks panjang. Namun, kompresi ini menyebabkan maklumat dari kedudukan berbeza disimpan dengan tahap kejituan yang berbeza, menjadikan sesetengah kandungan sukar dipulihkan dengan tepat pada masa akan datang. ByteDance menyebut perbezaan pengecaman berpola ini sebagai “kepekaan fasa”. Dalam ujian pengecaman sebanyak 128,000 Token, versi asas V4-Flash menunjukkan perbezaan ketepatan tertinggi sebanyak 40.2 peratus antara kedudukan yang berbeza. Selepas pelatihan lanjutan, jurang ini berkurang kepada 19.1 peratus; V4.1-Flash pula mengurangkannya lagi kepada 6.1 peratus, tetapi fluktuasi berpola masih wujud. ByteDance juga melatih beberapa model kawalan dari awal dan mendapati bahawa kitaran fluktuasi sepadan dengan langkah kompresi; model kawalan yang tidak menggunakan kompresi berbahagian tidak menunjukkan pola yang sama. (Sumber: BlockBeats)
ByteDance Menemui Ralat Berkala dalam Pemprosesan Teks Panjang DeepSeek-V4
KuCoinFlashKongsi
Ringkasan
Pelaburan bernilai dalam kripto menghadapi pemeriksaan semula selepas pasukan Seed ByteDance mengesan ralat berkala dalam pemprosesan teks panjang DeepSeek-V4. Apabila diberi kod yang sama dengan komen yang diperpanjang, model tersebut berubah-ubah antara output yang betul dan salah. Kelemahan ini berasal daripada pemampatan cache KV yang dipotong oleh DeepSeek, yang menggabungkan token untuk menghemat memori tetapi menyebabkan pengekalan data yang tidak seimbang. Dalam ujian 128,000 token, ketepatan V4-Flash berbeza sehingga 40.2 peratus. Selepas latihan tambahan, ia dikurangkan kepada 19.1, dan 6.1 dalam V4.1-Flash, walaupun isu berkala masih wujud.
Sumber:Tunjukkan artikel asal
Penafian: Maklumat yang terdapat pada halaman ini mungkin telah diperoleh daripada pihak ketiga dan tidak semestinya menggambarkan pandangan atau pendapat KuCoin. Kandungan ini adalah disediakan bagi tujuan maklumat umum sahaja, tanpa sebarang perwakilan atau waranti dalam apa jua bentuk, dan juga tidak boleh ditafsirkan sebagai nasihat kewangan atau pelaburan. KuCoin tidak akan bertanggungjawab untuk sebarang kesilapan atau pengabaian, atau untuk sebarang akibat yang terhasil daripada penggunaan maklumat ini.
Pelaburan dalam aset digital boleh membawa risiko. Sila menilai risiko produk dan toleransi risiko anda dengan teliti berdasarkan keadaan kewangan anda sendiri. Untuk maklumat lanjut, sila rujuk kepada Terma Penggunaan dan Pendedahan Risiko kami.