Swiftlet сокращает модель Qwen объемом 80 млрд параметров для запуска на Mac с пиковым потреблением памяти 4,3 ГБ

iconKuCoinFlash
Поделиться
AI summary iconСводка
Новое объявление от MetaEra сообщает, что проект Swiftlet оптимизировал Qwen3-Next и другие модели MoE для Mac с использованием Swift и Metal. Загружая в память только небольшое плотное ядро и потоково передавая веса экспертов с SSD, модель Qwen3.6-35B-A3B с квантованием 4 бита требует всего 18 ГБ дискового пространства и 2,6 ГБ пиковой памяти на Mac M5, обеспечивая скорость декодирования 7–11 ток/с. Эта новость на цепочке подчеркивает эффективное развертывание крупных моделей на потребительском оборудовании.
ME AI Сообщение: проект Swiftlet использует Swift + Metal для максимально эффективной работы моделей MoE, таких как Qwen3-Next, на Mac: постоянно загружается только небольшой плотный ядро, а веса экспертов хранятся на SSD и загружаются по требованию. На Mac M5 4-битная версия Qwen3.6-35B-A3B занимает всего 18 ГБ дискового пространства, пиковое потребление памяти — 2,6 ГБ, скорость декодирования достигает 7–11 ток/с. (Источник: MLion)
Источник:Показать оригинал
Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации. Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.