Berdasarkan pemantauan Beating, syarikat pangkalan data pinggir SQLite AI membuka sumber enjin inferens WASTE. Ia membolehkan Kimi K3 yang menyimpan semua lapisan dan pakar berjalan di atas MacBook Pro 64GB. Model yang ditukar berukuran sekitar 1TB, dengan kelajuan 0.49 hingga 0.54 Token per saat. WASTE menyimpan sekitar 27GB tubuh model dalam ingatan. Lebih daripada 80,000 pakar diletakkan di dalam SSD binaan. Setiap kali satu Token dihasilkan, hanya pakar yang dipanggil semasa itu dibaca dari cakera keras. Versi ini tidak menggunakan distilasi, pemotongan, atau penghapusan pakar. Namun, berat pakar telah dikuantiskan semula kepada 3-bit, dan tubuh model menggunakan 4-bit dan 8-bit.
SQLite AI Membuka Sumber Enjin Inferens WASTE untuk Kimi K3 pada MacBook 64GB
MarsBitKongsi
Ringkasan
SQLite AI telah membuka sumber enjin inferensinya WASTE, membolehkan model Kimi K3 penuh berjalan di MacBook Pro 64GB. Berita on-chain ini menandakan langkah besar dalam AI + berita kripto, kerana model ini berjalan pada 0.49 hingga 0.54 token per saat. Model 1TB mengekalkan tulang belakang 27GB dalam memori dan memuatkan pakar dari SSD apabila diperlukan. Berat telah dikuantiskan semula kepada 3-bit, dengan tulang belakang menggunakan 4-bit dan 8-bit.
Sumber:Tunjukkan artikel asal
Penafian: Maklumat yang terdapat pada halaman ini mungkin telah diperoleh daripada pihak ketiga dan tidak semestinya menggambarkan pandangan atau pendapat KuCoin. Kandungan ini adalah disediakan bagi tujuan maklumat umum sahaja, tanpa sebarang perwakilan atau waranti dalam apa jua bentuk, dan juga tidak boleh ditafsirkan sebagai nasihat kewangan atau pelaburan. KuCoin tidak akan bertanggungjawab untuk sebarang kesilapan atau pengabaian, atau untuk sebarang akibat yang terhasil daripada penggunaan maklumat ini.
Pelaburan dalam aset digital boleh membawa risiko. Sila menilai risiko produk dan toleransi risiko anda dengan teliti berdasarkan keadaan kewangan anda sendiri. Untuk maklumat lanjut, sila rujuk kepada Terma Penggunaan dan Pendedahan Risiko kami.