Ayon sa pagmamasid ng Beating, ang edge database company na SQLite AI ay naglabas ng open-source inference engine na WASTE. Ito ay nagpapahintulot sa pagpapatakbo ng Kimi K3 na may lahat ng layers at experts sa isang 64GB MacBook Pro. Ang converted model ay nagsasakop ng halos 1TB, na may bilis na 0.49 hanggang 0.54 Token bawat segundo. Ang WASTE ay nag-iingat ng halos 27GB ng model backbone sa memory. Ang higit sa 80,000 na experts ay naka-imbak sa built-in SSD. Sa bawat pagbuo ng Token, tanging ang kasalukuyang tinatawag na expert ang binabasa mula sa hard drive. Ang bersyong ito ay walang distillation, pruning, o pag-alis ng mga expert. Gayunpaman, ang weights ng mga expert ay re-quantized sa 3-bit, habang ang model backbone ay gamit ang 4-bit at 8-bit.
Open-source ng SQLite AI ang inference engine na WASTE para sa Kimi K3 sa 64GB MacBook
MarsBitI-share
Summary
Binuksan ng SQLite AI ang kanyang inference engine na WASTE, na nagpapahintulot sa buong Kimi K3 model na tumakbo sa isang 64GB MacBook Pro. Ang on-chain na balita na ito ay isang malaking hakbang sa AI + crypto balita, dahil tumatakbo ang model sa 0.49 hanggang 0.54 tokens bawat segundo. Ang 1TB na model ay nagpapanatili ng 27GB na backbone sa memorya at naglo-load ng mga expert mula sa SSD ayon sa pangangailangan. Ang weights ay re-quantized sa 3-bit, habang ang backbone ay gumagamit ng 4-bit at 8-bit.
Source:Ipakita ang original
Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito.
Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.