Новини ME, 29 липня (UTC+8): Moonshot AI запускає Kimi Linear — гібридну архітектуру лінійної уваги, яка вперше повністю перевершує повну архітектуру уваги в сценаріях з коротким, довгим контекстом та навчанням з підсиленням. Модель з 3 мільярдами активованих параметрів значно перевершує повну MLA на всіх оцінних завданнях, зменшуючи використання KV cache до 75% і досягаючи до 6 разів більшої пропускної здатності декодування при контексті 1M. Moonshot AI вже відкрила код ядра KDA, реалізацію vLLM та ваги моделі. 🔗 Прочитати оригінал via AI HOT · https://aihot.virxact.com/items/cms4t5zra01o1roa10b19hmbh (джерело: AiHot)
Moonshot запускає Kimi Linear — архітектуру уваги високої продуктивності
KuCoinFlashПоділитися
Короткий зміст
Moonshot запустила Kimi Linear — високопродуктивну архітектуру уваги — 29 липня (UTC+8). Гібридна лінійна модель перевершує повну увагу в сценаріях з коротким і довгим контекстом, а також у навчанні з підсиленням. З 3 мільярдами активних параметрів вона зменшує використання KV-кешу на 75% і збільшує пропускну здатність декодування в 6 разів при контексті 1 мільйон. Ядро KDA, реалізація vLLM та ваги моделі відкрито виправлені. Трейдери, що оцінюють рівні підтримки та опору, можуть знайти, що цей прогрес покращує співвідношення ризик/дохід у алгоритмічних стратегіях.
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації.
Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.