SQLite AI Membuka Sumber Mesin Inferens WASTE untuk Menjalankan Kimi K3 pada MacBook 64GB

iconKuCoinFlash
Kongsi
AI summary iconRingkasan
SQLite AI telah membuka sumber enjin inferens WASTE, membolehkan model Kimi K3 penuh berjalan pada MacBook Pro 64GB. Model tersebut, yang ditukar kepada 1TB, berjalan pada 0.49–0.54 token per saat. WASTE memuatkan pakar yang diperlukan sahaja dari SSD, menyimpan tulang belakang 27GB dalam ingatan. Berat ditukar semula kepada 3-bit dan 4–8-bit. Berita AI + kripto ini menandakan langkah maju dalam berita atas rantai bagi kecekapan model.
ME AI mesej, menurut pemantauan Beating, syarikat pangkalan data pinggir SQLite AI telah melancarkan enjin inferens sumber terbuka WASTE. Ia membolehkan Kimi K3 yang menyimpan semua lapisan dan pakar berjalan di atas MacBook Pro 64GB. Model yang ditukar mengambil kira sekitar 1TB, dengan kelajuan 0.49 hingga 0.54 Token per saat. WASTE mengekalkan sekitar 27GB tubuh model dalam ingatan. Lebih daripada 80,000 pakar diletakkan di dalam SSD dalaman. Setiap kali satu Token dihasilkan, hanya pakar yang dipanggil semasa itu dibaca dari cakera keras. Versi ini tidak menggunakan distilasi, pemotongan, atau penghapusan pakar. Namun, berat pakar telah dikuantisasi semula kepada 3-bit, dan tubuh model menggunakan 4-bit dan 8-bit. (Sumber: MLion)
Sumber:Tunjukkan artikel asal
Penafian: Maklumat yang terdapat pada halaman ini mungkin telah diperoleh daripada pihak ketiga dan tidak semestinya menggambarkan pandangan atau pendapat KuCoin. Kandungan ini adalah disediakan bagi tujuan maklumat umum sahaja, tanpa sebarang perwakilan atau waranti dalam apa jua bentuk, dan juga tidak boleh ditafsirkan sebagai nasihat kewangan atau pelaburan. KuCoin tidak akan bertanggungjawab untuk sebarang kesilapan atau pengabaian, atau untuk sebarang akibat yang terhasil daripada penggunaan maklumat ini. Pelaburan dalam aset digital boleh membawa risiko. Sila menilai risiko produk dan toleransi risiko anda dengan teliti berdasarkan keadaan kewangan anda sendiri. Untuk maklumat lanjut, sila rujuk kepada Terma Penggunaan dan Pendedahan Risiko kami.