Swiftlet зменшує модель Qwen з 80 млрд до запуску на Mac з піковою пам’яттю 4,3 ГБ

iconKuCoinFlash
Поділитися
AI summary iconКороткий зміст
Нове оголошення про проект від MetaEra розкриває, що проект Swiftlet оптимізував Qwen3-Next та інші MoE-моделі для Mac за допомогою Swift і Metal. Завдяки завантаженню лише невеликого щільного ядра в пам’ять та потоковій передачі ваг експертів з SSD, 4-бітна модель Qwen3.6-35B-A3B потребує лише 18 ГБ дискового простору та 2,6 ГБ пікової пам’яті на Mac M5, зі швидкістю декодування 7–11 ток/с. Ця новина на ланцюгу підкреслює ефективне розгортання великих моделей на споживчому обладнанні.
ME AI повідомлення: проект Swiftlet використовує Swift + Metal, щоб максимально оптимізувати роботу MoE-моделей, таких як Qwen3-Next, на Mac: постійно завантажується лише невеликий щільний ядро, а ваги експертів зберігаються на SSD і завантажуються за потреби потоково. На Mac M5 4-бітна версія Qwen3.6-35B-A3B займає лише 18 ГБ дискового простору, пікове використання пам’яті — 2,6 ГБ, швидкість декодування — 7–11 ток/с. (джерело: MLion)
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації. Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.