SQLite AI Melepaskan Mesin Inferensi WASTE untuk Menjalankan Kimi K3 di MacBook 64GB

iconKuCoinFlash
Bagikan
AI summary iconRingkasan
SQLite AI telah melepaskan mesin inferensi WASTE secara open-source, memungkinkan model Kimi K3 penuh berjalan di MacBook Pro 64GB. Model tersebut, yang dikonversi menjadi 1TB, berjalan pada kecepatan 0,49–0,54 token per detik. WASTE hanya memuat pakar yang diperlukan dari SSD, dengan menyimpan backbone 27GB di memori. Bobot dire-kuantisasi menjadi 3-bit dan 4–8-bit. Berita AI + kripto ini menandai langkah maju dalam berita on-chain terkait efisiensi model.
ME AI Berita, menurut pemantauan Beating, perusahaan database edge SQLite AI meluncurkan mesin inferensi open-source WASTE. Ini memungkinkan Kimi K3 dengan seluruh lapisan dan ahli tetap terjaga untuk berjalan di satu MacBook Pro 64GB. Model yang dikonversi berukuran sekitar 1TB, dengan kecepatan 0,49 hingga 0,54 Token per detik. WASTE menyimpan sekitar 27GB bagian utama model di memori. Lebih dari 80.000 ahli ditempatkan di SSD bawaan. Setiap kali menghasilkan satu Token, hanya ahli yang dipanggil saat ini yang dibaca dari hard disk. Versi ini tidak melakukan distilasi, pemangkasan, atau penghapusan ahli. Namun, bobot ahli telah di-requantize menjadi 3-bit, sedangkan bagian utama model menggunakan 4-bit dan 8-bit. (Sumber: MLion)
Sumber:Tampilkan versi asli
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini. Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.