Moonshot запускает Kimi Linear — архитектуру внимания высокой производительности

iconKuCoinFlash
Поделиться
This is the logo of the coin.
Kadena
----
AI summary iconСводка
Moonshot запустила Kimi Linear — высокопроизводительную архитектуру внимания — 29 июля (UTC+8). Гибридная линейная модель превосходит полное внимание в сценариях с коротким и длинным контекстом, а также в обучении с подкреплением. При 3 млрд активных параметров она снижает использование KV-кэша на 75% и увеличивает пропускную способность декодирования в 6 раз при контексте 1 млн. Ядро KDA, реализация vLLM и веса модели открыты для общего доступа. Трейдеры, оценивающие уровни поддержки и сопротивления, могут обнаружить, что это достижение улучшает соотношение риска и вознаграждения в алгоритмических стратегиях.

ME News сообщает, 29 июля (UTC+8) «Лунная тень» представила Kimi Linear — гибридную архитектуру линейного внимания, впервые превзойдя полное внимание во всех сценариях: коротких и длинных контекстах, а также в обучении с подкреплением. Модель с 3 млрд активируемых параметров значительно превосходит полную MLA по всем оценочным задачам, снижая использование KV-кэша до 75% и достигая до 6 раз более высокой пропускной способности декодирования при контексте 1M. «Лунная тень» открыла исходный код ядра KDA, реализацию vLLM и веса модели. 🔗 Читать оригинал via AI HOT · https://aihot.virxact.com/items/cms4t5zra01o1roa10b19hmbh (источник: AiHot)

Источник:Показать оригинал
Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации. Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.