Ayon sa ME News, noong Oktubre 9 (UTC+8), ay natuklasan ng Seed Team ng ByteDance sa kanilang Beating AI bulletin na mayroong regular na kahinaan sa DeepSeek-V4 sa pagtrato ng mahabang teksto. Pinayagan ng mga mananaliksik ang modelo na kumpletuhin ang isang code, kung saan ang code mismo ay hindi nagbago, ngunit pinahaba lamang ang isang walang kinalaman na komento sa harap nito—at ang sagot ng modelo ay nagsisilbi sa pagitan ng tama at mali. Ang V4-Flash Base ay umuulit ang pattern tuwing 4 Token, habang may katulad na phenomenon sa V4.1-Flash, ngunit ang cycle ay bumaba sa 2 Token. Ang problema ay may kinalaman sa "chunked KV cache compression" na ginagamit ng DeepSeek upang i-save ang VRAM. Ang modelo ay nagpapagsama ng impormasyon mula sa ilang magkakasunod na Token upang bawasan ang gastos sa pagproseso ng mahabang teksto. Gayunpaman, ang kompresyon na ito ay nagdudulot ng iba’t ibang antas ng pagpapanatili ng impormasyon, kaya't mas mahirap makuha nang tama ang ilang mga bahagi pagkatapos. Tinawag ng ByteDance ang ganitong periodic na pagkakaiba sa paghahanap bilang "phase sensitivity." Sa isang pagsubok sa paghahanap na may halos 128,000 Token, ang pinakamataas na pagkakaiba sa akurasye sa iba’t ibang posisyon para sa V4-Flash Base ay 40.2 puntos. Pagkatapos ng post-training, bumaba ito sa 19.1 puntos; habang ang V4.1-Flash ay bumaba pa sa 6.1 puntos, ngunit nananatili pa rin ang periodic na paggalaw. Ginawa rin ng ByteDance ang pagtuturo mula sa zero ng ilang control models at natuklasan na ang cycle ng paggalaw ay sumasabay sa compression stride—at walang ganitong pattern ang mga control model na hindi gumamit ng chunked compression. (Pinagmulan: BlockBeats)
Natuklasan ng ByteDance ang mga panahon-kasaligan na pagkakamali sa pagproseso ng mahabang teksto ng DeepSeek-V4
KuCoinFlashI-share
Summary
Ang value investing sa crypto ay nakakaranas ng bagong pagmamasid dahil natuklasan ng ekipa ng Seed ng ByteDance ang periodic errors sa pagproseso ng mahabang teksto ng DeepSeek-V4. Kapag binigay ang parehong code na may extended na komento, ang modelo ay nagbabago sa pagitan ng tama at maling output. Ang kakulangan ay nagmumula sa chunked KV cache compression ng DeepSeek, na nagpapagsasama ng mga token upang i-save ang memorya ngunit nagdudulot ng hindi pantay na pagpapanatili ng data. Sa mga pagsusulit na 128,000-token, ang accuracy ng V4-Flash ay nag-iba ng hanggang 40.2 puntos porsyento. Binawasan ng post-training ito sa 19.1, at 6.1 sa V4.1-Flash, bagaman patuloy pa ring umiiral ang periodic issues.
Source:Ipakita ang original
Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito.
Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.