Ibinahagi ng Caltech ang open source na 1-bit Bonsai Model: 8B na parameter sa 1.15GB, 44 Tok/s sa iPhone

iconChainthink
I-share
Share IconShare IconShare IconShare IconShare IconShare IconCopy
AI summary iconSummary

expand icon
On-chain news: Ang PrismML ng Caltech, na pinangungunahan ni Babak Hassibi, ay nag-open source ng 1-bit Bonsai AI models. Ang bersyon na 8B ay may 8.2 bilyong parameter, 1.15GB na memorya, at tumatakbo sa 44 tokens bawat segundo sa iPhone 17 Pro Max. AI + crypto news: Gumagamit ang model ng 4-5 beses na mas kaunting enerhiya kaysa sa 16-bit na bersyon. Ang PrismML ay nakakuha ng $16.25 milyon sa SAFE at seed rounds mula sa Khosla Ventures, Cerberus Capital, at Caltech.

Mensahe ng ChainThink, noong Abril 1, 2026, ayon sa pagmamasid ng 1M AI News, ang PrismML, isang AI lab na itinatag ni Babak Hassibi, isang matematiko mula sa California Institute of Technology, ay natapos ang kanyang panahon ng pagkakatago at isinara ang serye ng 1-bit Bonsai na mga malaking modelo ng wika. Ang pangunahing modelo, ang 1-bit Bonsai 8B, ay may 8.2 bilyong parameter at nag-aabot lamang ng 1.15 GB na memorya, na naiiwasan ang mga 16-bit na modelo sa parehong antas ng halos 14 beses. Kasabay nito, inilabas din ang dalawang mas maliit na modelo: 4B (0.5 GB) at 1.7B (0.24 GB).


Ang Bonsai 8B ay isang end-to-end na totoong 1-bit na modelo, kung saan ang embedding layer, attention layer, MLP layer, at output head ay lahat ay nagpapakita lamang ng weights na +1 o -1, walang high-precision patches. Sinasabing ng PrismML na ang pagpapatakbo at pag-unawa sa wika nito sa mga standard benchmark ay katumbas ng 16-bit na full-precision na modelo, at ang pangunahing kompresyon ng matematika ay nilikha ng team sa California Institute of Technology sa loob ng ilang taon, kung saan ang karapatan sa intelektuwal ay ariin ng California Institute of Technology, at ang PrismML ay ang eksklusibong lisensyado. Ginamit ang Google v4 TPU para sa pagtatrabaho ng modelo.


Sa pagsubok ng bilis, 136 tok/s sa M4 Pro Mac, 440 tok/s sa RTX 4090, at humigit-kumulang 44 tok/s sa iPhone 17 Pro Max; ang standard 16-bit 8B model ay hindi maaaring i-fit sa anumang iPhone, at ang pagkawala ng enerhiya ay bumaba ng humigit-kumulang 4-5 beses kumpara sa 16-bit model. Sinabi ni PrismML na ang kasalukuyang hardware ay hindi disenyo para sa 1-bit inference; ang mga benepisyo sa bilis at enerhiya ay pangunahing galing sa pagbaba ng memory usage, at kung may mangyaring hardware na disenyo na espesipiko para sa 1-bit sa hinaharap, maaaring paunlarin pa ang efficiency ng isang orden ng magnitude.


Natapos ng PrismML ang pagsasama ng $16.25 milyon sa SAFE at seed round, na may mga investor na si Khosla Ventures, Cerberus Capital, at Caltech. Ipinahayag ni Vinod Khosla, ang tagapagtatag ng Khosla Ventures, na ang resultang ito ay “hindi isang maliit na pag-update, kundi isang malaking teknikal na pagbubukas, isang matematikal na pagbubukas, hindi lang isa pang maliit na modelo.”

Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito. Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.