Swiftlet Mengecilkan Model Qwen 80B agar Berjalan di Mac dengan Memori Puncak 4,3 GB

iconKuCoinFlash
Bagikan
AI summary iconRingkasan
Pengumuman proyek baru dari MetaEra mengungkap bahwa proyek Swiftlet telah mengoptimalkan Qwen3-Next dan model MoE lainnya untuk Mac menggunakan Swift dan Metal. Dengan memuat hanya inti padat kecil di memori dan streaming bobot ahli dari SSD, model Qwen3.6-35B-A3B 4-bit hanya membutuhkan ruang disk 18GB dan memori puncak 2,6GB di Mac M5, dengan kecepatan decoding 7–11 tok/s. Berita on-chain ini menyoroti penerapan efisien model besar pada perangkat konsumen.
ME AI pesan, proyek Swiftlet memanfaatkan Swift + Metal untuk menjalankan model MoE seperti Qwen3-Next dengan sangat ringan di Mac: hanya menyimpan inti padat kecil secara permanen, sementara bobot ahli disimpan di SSD dan dimuat secara streaming sesuai kebutuhan. Di Mac M5, versi 4-bit dari Qwen3.6-35B-A3B hanya memakan 18GB ruang disk, memori puncak 2,6GB, dan kecepatan decoding mencapai 7–11 tok/s. (Sumber: MLion)
Sumber:Tampilkan versi asli
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini. Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.