Caltech Membuka Sumber Model Bonsai 1-bit: 8 Miliar Parameter di 1,15 GB, 44 Tok/s di iPhone

iconChainthink
Bagikan
Share IconShare IconShare IconShare IconShare IconShare IconCopy
AI summary iconRingkasan

expand icon
Berita on-chain: PrismML dari Caltech, yang dipimpin oleh Babak Hassibi, telah melepaskan model AI Bonsai 1-bit secara open-source. Varian 8B memiliki 8,2 miliar parameter, memori 1,15 GB, dan berjalan pada kecepatan 44 token per detik di iPhone 17 Pro Max. Berita AI + crypto: Model ini menggunakan energi 4-5 kali lebih sedikit daripada versi 16-bit. PrismML telah mengumpulkan dana $16,25 juta dalam putaran SAFE dan seed dari Khosla Ventures, Cerberus Capital, dan Caltech.

Pesan ChainThink, 1 April 2026, menurut pemantauan 1M AI News, laboratorium AI PrismML yang didirikan oleh matematikawan California Institute of Technology, Babak Hassibi, mengakhiri masa隐身nya dan melepaskan secara open-source seri model bahasa besar 1-bit Bonsai. Model unggulan, 1-bit Bonsai 8B, memiliki 8,2 miliar parameter dengan penggunaan memori hanya 1,15 GB, mengompresi sekitar 14 kali lebih kecil dibandingkan model 16-bit sekelasnya; bersamaan dirilis dua model lebih kecil, yaitu 4B (0,5 GB) dan 1,7B (0,24 GB).


Bonsai 8B adalah model 1-bit end-to-end asli, dengan lapisan embedding, lapisan perhatian, lapisan MLP, dan head output semuanya merepresentasikan bobot hanya dengan +1 atau -1, tanpa patch presisi tinggi. PrismML menyatakan bahwa kemampuan inferensi dan pemahaman bahasanya setara dengan model presisi penuh 16-bit pada benchmark standar, matematika kompresi inti dikembangkan oleh tim selama bertahun-tahun di Caltech, hak kekayaan intelektual dimiliki oleh Caltech, dan PrismML merupakan satu-satunya pihak yang mendapat lisensi eksklusif. Model ini dilatih menggunakan TPU v4 Google.


Dalam pengujian kecepatan nyata, M4 Pro Mac mencapai 136 tok/s, RTX 4090 mencapai 440 tok/s, dan iPhone 17 Pro Max sekitar 44 tok/s. Model 8B standar 16-bit tidak dapat dimuat ke iPhone mana pun, dan konsumsi energi berkurang sekitar 4-5 kali dibanding model 16-bit. PrismML menunjukkan bahwa perangkat keras saat ini tidak dirancang khusus untuk inferensi 1-bit; keunggulan kecepatan dan konsumsi energi terutama berasal dari pengurangan penggunaan memori. Jika di masa depan muncul perangkat keras yang dirancang khusus untuk 1-bit, efisiensi dapat meningkat lagi sebesar satu orde besar.


PrismML menyelesaikan pembiayaan SAFE dan putaran seed senilai $16,25 juta, dengan investor Khosla Ventures, Cerberus Capital, dan Caltech. Pendiri Khosla Ventures, Vinod Khosla, menilai pencapaian ini sebagai "bukan iterasi kecil, tetapi terobosan teknis besar, terobosan matematis, bukan sekadar model kecil lagi."

Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini. Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.