Swiftlet Mengecilkan Model Qwen 80B untuk Berjalan di Mac dengan Penggunaan Memori Puncak 4.3GB

iconKuCoinFlash
Kongsi
AI summary iconRingkasan
Pengumuman projek baharu dari MetaEra mengungkapkan projek Swiftlet telah mengoptimumkan Qwen3-Next dan model MoE lain untuk Mac menggunakan Swift dan Metal. Dengan memuatkan hanya inti padat kecil dalam memori dan mengalirkan berat pakar dari SSD, model Qwen3.6-35B-A3B 4-bit memerlukan hanya 18GB ruang cakera dan 2.6GB memori puncak pada Mac M5, dengan kelajuan dekod 7–11 tok/s. Berita ini di rantai menonjolkan penyebaran model besar yang cekap pada peranti pengguna.
ME AI Mesej, projek Swiftlet menggunakan Swift + Metal untuk menjalankan model MoE seperti Qwen3-Next dengan sangat ringan di Mac: hanya mempertahankan inti padat kecil secara tetap, sementara berat pakar disimpan di SSD dan dimuat secara streaming mengikut permintaan. Di Mac M5, versi 4-bit Qwen3.6-35B-A3B hanya mengambil ruang 18GB di cakera, penggunaan memori puncak 2.6GB, dan kelajuan dekod sehingga 7–11 tok/s. (Sumber: MLion)
Sumber:Tunjukkan artikel asal
Penafian: Maklumat yang terdapat pada halaman ini mungkin telah diperoleh daripada pihak ketiga dan tidak semestinya menggambarkan pandangan atau pendapat KuCoin. Kandungan ini adalah disediakan bagi tujuan maklumat umum sahaja, tanpa sebarang perwakilan atau waranti dalam apa jua bentuk, dan juga tidak boleh ditafsirkan sebagai nasihat kewangan atau pelaburan. KuCoin tidak akan bertanggungjawab untuk sebarang kesilapan atau pengabaian, atau untuk sebarang akibat yang terhasil daripada penggunaan maklumat ini. Pelaburan dalam aset digital boleh membawa risiko. Sila menilai risiko produk dan toleransi risiko anda dengan teliti berdasarkan keadaan kewangan anda sendiri. Untuk maklumat lanjut, sila rujuk kepada Terma Penggunaan dan Pendedahan Risiko kami.