MEニュース、10月9日（UTC+8）、動察Beating AI速報によると、字節跳動Seedチームは、DeepSeek-V4が長文処理において規則的な弱点を抱えていることを発見した。研究者はモデルにコードを補完させたが、コード自体は変更せず、その前に付加された無関係なコメントを延長したところ、モデルの回答が正解と不正解の間で繰り返し切り替わった。V4-Flashベーシック版は4トークンごとに周期的に繰り返され、V4.1-Flashでも同様の現象が観測され、周期は2トークンとなった。 この問題は、DeepSeekがメモリ使用量を削減するために採用した「ブロック化KVキャッシュ圧縮」と関連している。モデルは連続する複数のトークン情報を統合して保存し、長文処理のコストを削減するが、この圧縮により異なる位置の情報の保持度に差が生じ、特定の位置の内容は後で正確に再取得しにくくなる。字節はこの周期的な検索差異を「位相感受性」と呼んでいる。 約12.8万トークンの検索テストでは、V4-Flashベーシック版の位置ごとの正解率の差は最大で40.2パーセントポイントに達した。後学習によりこの差は19.1パーセントポイントに縮小し、V4.1-Flashではさらに6.1パーセントポイントまで縮小したが、周期的な変動は依然として存在した。字節はさらに複数の対照モデルをゼロから学習させ、この周期的変動が圧縮ステップと一致することを確認した。ブロック化圧縮を使用していない対照モデルでは同様のパターンは観測されなかった。（出典：BlockBeats）
バイトダンス、DeepSeek-V4の長文処理における周期的なエラーを発見
KuCoinFlash共有
概要
ByteDanceのSeedチームがDeepSeek-V4の長文処理に周期的なエラーを発見したことを受けて、暗号資産におけるバリュー投資は新たな注目を集めている。同じコードに拡張されたコメントを入力すると、モデルは正解と不正解の出力を繰り返す。この欠陥は、DeepSeekのチャンク化されたKVキャッシュ圧縮に起因し、メモリ節約のためにトークンを統合するが、データ保持に不均一性を生じさせる。128,000トークンのテストでは、V4-Flashの精度が最大で40.2パーセンテージポイントまで変動した。トレーニング後の修正により19.1まで改善され、V4.1-Flashでは6.1まで低下したが、周期的な問題は依然として存在している。
出典:原文を表示
免責事項: 本ページの情報はサードパーティからのものであり、必ずしもKuCoinの見解や意見を反映しているわけではありません。この内容は一般的な情報提供のみを目的として提供されており、いかなる種類の表明や保証もなく、金融または投資助言として解釈されるものでもありません。KuCoinは誤記や脱落、またはこの情報の使用に起因するいかなる結果に対しても責任を負いません。
デジタル資産への投資にはリスクが伴います。商品のリスクとリスク許容度をご自身の財務状況に基づいて慎重に評価してください。詳しくは利用規約およびリスク開示を参照してください。