Open-source ng SQLite AI ang WASTE Inference Engine para i-run ang Kimi K3 sa 64GB MacBook

iconKuCoinFlash
I-share
AI summary iconSummary
Open-source na ng SQLite AI ang kanyang WASTE inference engine, na nagpapahintulot sa buong Kimi K3 model na tumakbo sa isang 64GB MacBook Pro. Ang model, na konbertido sa 1TB, ay tumatakbo sa 0.49–0.54 tokens bawat segundo. Ang WASTE ay naglo-load lamang ng kailangang mga expert mula sa SSD, habang pinapanatili ang 27GB na backbone sa memorya. Ang weights ay re-quantized sa 3-bit at 4–8-bit. Ang AI + crypto news na ito ay isang hakbang patungo sa pag-unlad ng on-chain news para sa efficiency ng model.
ME AI na mensahe, ayon sa pagmamasid ng Beating, ang edge database company na SQLite AI ay naglabas ng open-source inference engine na WASTE. Ito ay nagpapahintulot sa Kimi K3 na may lahat ng layers at experts na mag-run sa isang 64GB MacBook Pro. Ang converted model ay nasa halos 1TB, na may bilis na 0.49 hanggang 0.54 Token bawat segundo. Ang WASTE ay nag-iipon ng halos 27GB ng model backbone sa memory. Ang higit sa 80,000 na experts ay naka-imbak sa built-in SSD. Sa bawat pagbuo ng Token, tanging ang kasalukuyang tinatawag na expert ang binabasa mula sa hard drive. Ang bersyong ito ay walang distillation, pruning, o pag-alis ng experts. Gayunpaman, ang weights ng experts ay re-quantized sa 3-bit, habang ang model backbone ay gumagamit ng 4-bit at 8-bit. (Source: MLion)
Source:Ipakita ang original
Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito. Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.