Menurut pemantauan Beating, perusahaan database tepi SQLite AI membuka sumber kode mesin inferensi WASTE. Ini memungkinkan Kimi K3 dengan seluruh lapisan dan pakar tetap utuh untuk dijalankan di satu MacBook Pro 64GB. Model yang dikonversi berukuran sekitar 1TB, dengan kecepatan 0,49 hingga 0,54 Token per detik. WASTE menyimpan sekitar 27GB backbone model di memori, sementara lebih dari 80.000 pakar ditempatkan di SSD internal. Setiap kali menghasilkan satu Token, hanya pakar yang dipanggil saat itu yang dibaca dari hard disk. Versi ini tidak melakukan distilasi, pemangkasan, atau penghapusan pakar. Namun, bobot pakar telah di-quantize ulang menjadi 3-bit, sedangkan backbone model menggunakan 4-bit dan 8-bit.
SQLite AI Melepaskan Mesin Inferensi WASTE untuk Kimi K3 pada MacBook 64GB
MarsBitBagikan
Ringkasan
SQLite AI telah membuka sumber kode mesin inferensinya WASTE, memungkinkan model Kimi K3 penuh berjalan di MacBook Pro 64GB. Berita on-chain ini menandai langkah besar dalam berita AI + kripto, karena model berjalan pada kecepatan 0,49 hingga 0,54 token per detik. Model 1TB menyimpan backbone 27GB di memori dan memuat pakar dari SSD sesuai kebutuhan. Bobot di-re-quantize menjadi 3-bit, dengan backbone menggunakan 4-bit dan 8-bit.
Sumber:Tampilkan versi asli
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini.
Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.