Noticias de ME, 9 de octubre (UTC+8), boletín rápido de Beating AI: el equipo Seed de ByteDance descubrió que DeepSeek-V4 presenta una debilidad periódica en el procesamiento de textos largos. Los investigadores pidieron al modelo completar un fragmento de código, manteniendo el código sin cambios y solo extendiendo un comentario sin relevancia al principio; la respuesta del modelo alternaba entre correcta e incorrecta. La versión básica de V4-Flash repetía este patrón cada 4 tokens, y V4.1-Flash mostró un fenómeno similar, con un período de 2 tokens. El problema está relacionado con la técnica de "compresión de caché KV por bloques" utilizada por DeepSeek para ahorrar memoria GPU. El modelo combina y almacena la información de varios tokens consecutivos para reducir el costo de procesamiento de textos largos. Sin embargo, esta compresión provoca que la información en distintas posiciones se conserve en distintos grados, haciendo que algunos contenidos sean más difíciles de recuperar con precisión posteriormente. ByteDance denominó a esta variación periódica en la recuperación como "sensibilidad de fase". En pruebas de recuperación de aproximadamente 128 000 tokens, la versión básica de V4-Flash mostró una diferencia máxima del 40,2 % en precisión entre diferentes posiciones. Tras el entrenamiento posterior, esta brecha se redujo a 19,1 %; V4.1-Flash la redujo aún más hasta 6,1 %, pero las fluctuaciones periódicas persistieron. ByteDance también entrenó desde cero varios modelos de control y descubrió que el período de fluctuación coincidía con el tamaño del paso de compresión; los modelos de control que no utilizaban compresión por bloques no presentaron este mismo patrón. (Fuente: BlockBeats)
ByteDance descubre errores periódicos en el procesamiento de texto largo de DeepSeek-V4
KuCoinFlashCompartir
Resumen
La inversión en valor en cripto enfrenta un nuevo escrutinio tras el equipo Seed de ByteDance descubrió errores periódicos en el procesamiento de textos largos de DeepSeek-V4. Al alimentar el mismo código con comentarios extendidos, el modelo alterna entre salidas correctas e incorrectas. El defecto proviene de la compresión del caché KV fragmentado de DeepSeek, que fusiona tokens para ahorrar memoria pero causa una retención desigual de datos. En pruebas de 128.000 tokens, la precisión de V4-Flash varió hasta 40,2 puntos porcentuales. El post-entrenamiento redujo esto a 19,1 y a 6,1 en V4.1-Flash, aunque aún persisten problemas periódicos.
Fuente:Mostrar original
Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información.
Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.