Caltech Membuka Sumber Model Bonsai 1-bit: 8B Parameter pada 1.15GB, 44 Tok/s di iPhone

iconChainthink
Kongsi
Share IconShare IconShare IconShare IconShare IconShare IconCopy
AI summary iconRingkasan

expand icon
Berita di rantai: PrismML dari Caltech, yang dipimpin oleh Babak Hassibi, telah membuka sumber model AI Bonsai 1-bit. Varian 8B mempunyai 8.2 bilion parameter, memori 1.15GB, dan berjalan pada 44 token per saat di iPhone 17 Pro Max. Berita AI + kripto: Model ini menggunakan 4-5 kali lebih sedikit tenaga berbanding versi 16-bit. PrismML telah mengumpulkan $16.25 juta dalam putaran SAFE dan seed daripada Khosla Ventures, Cerberus Capital, dan Caltech.

Mesej ChainThink, 1 April 2026, menurut pemantauan 1M AI News, makmal AI PrismML yang ditubuhkan bersama oleh ahli matematik California Institute of Technology, Babak Hassibi, mengakhiri tempoh terselubungnya dan membuka sumber model bahasa besar serangkaian 1-bit Bonsai. Model unggulan, 1-bit Bonsai 8B, mempunyai 8.2 bilion parameter dan penggunaan memori hanya 1.15GB, mengurangkan sebanyak 14 kali berbanding model 16-bit setara, sambil memperkenalkan dua model yang lebih kecil iaitu 4B (0.5GB) dan 1.7B (0.24GB).


Bonsai 8B ialah model 1-bit sebenar end-to-end, di mana lapisan embed, lapisan perhatian, lapisan MLP, dan kepala output semuanya hanya menggunakan +1 atau -1 untuk bobot, tanpa patch presisi tinggi. PrismML menyatakan bahawa kemampuan inferens dan pemahaman bahasanya sebanding dengan model presisi penuh 16-bit pada ujian piawai, matematik kompresi inti dikembangkan oleh pasukan di California Institute of Technology selama bertahun-tahun, dan hak kekayaan intelektual dimiliki oleh California Institute of Technology, dengan PrismML sebagai penerima eksklusif tunggal. Model ini dilatih menggunakan TPU v4 Google.


Dalam ujian kelajuan, M4 Pro Mac mencapai 136 tok/s, RTX 4090 mencapai 440 tok/s, dan iPhone 17 Pro Max sekitar 44 tok/s. Model 8B standard 16-bit tidak dapat dimuatkan ke mana-mana iPhone, dengan pengurangan tenaga sebanyak kira-kira 4-5 kali berbanding model 16-bit. PrismML menunjukkan bahawa peranti semasa tidak direka untuk inferens 1-bit, dan kelebihan kelajuan serta tenaga terutamanya datang daripada pengurangan penggunaan memori. Jika peranti khas untuk inferens 1-bit muncul pada masa depan, kecekapan boleh ditingkatkan lagi satu peringkat.


PrismML telah menyelesaikan pembiayaan SAFE dan putaran benih sebanyak $16.25 juta, dengan pelabur termasuk Khosla Ventures, Cerberus Capital, dan California Institute of Technology. Pendiri Khosla Ventures, Vinod Khosla, menilai pencapaian ini sebagai "bukan sekadar pengubahsuaian kecil, tetapi lompatan teknologi besar, lompatan matematik, bukan sekadar model kecil lagi."

Penafian: Maklumat yang terdapat pada halaman ini mungkin telah diperoleh daripada pihak ketiga dan tidak semestinya menggambarkan pandangan atau pendapat KuCoin. Kandungan ini adalah disediakan bagi tujuan maklumat umum sahaja, tanpa sebarang perwakilan atau waranti dalam apa jua bentuk, dan juga tidak boleh ditafsirkan sebagai nasihat kewangan atau pelaburan. KuCoin tidak akan bertanggungjawab untuk sebarang kesilapan atau pengabaian, atau untuk sebarang akibat yang terhasil daripada penggunaan maklumat ini. Pelaburan dalam aset digital boleh membawa risiko. Sila menilai risiko produk dan toleransi risiko anda dengan teliti berdasarkan keadaan kewangan anda sendiri. Untuk maklumat lanjut, sila rujuk kepada Terma Penggunaan dan Pendedahan Risiko kami.