Ang karamihan sa mga tao ay naniniwala na ang pinakamalalaking model ay kailangan ng pinakamaraming VRAM! Sa katotohanan, gamit ang AirLLM, ang Kimi K3, isang model na may 2.8 trilyong parameter, ay kailangan ng mas kaunting VRAM kaysa sa isang 70B dense model. Ang dahilan ay ang K3 ay isang sparse mixture-of-experts model, kaya ang AirLLM ay stream lamang ang mga espesipikong expert na tinatawag ng isang token, sa halip na i-load ang buong dense layer. Kasama na rito ang pag-load lamang ng isang layer sa GPU nang isang oras. Dito nagkakaroon ng puwang ang DeepSeek-V3 (671B) sa 12GB, at ang isang 2.8 trilyong parameter model ay nasisilid sa mas kaunti sa 4GB, nang walang quantization, distillation, o pruning. I-bookmark ito para hindi mo kalimutan! Repo: https://t.co/dO2TABPfqr Sundin si @neil_xbt para sa higit pa!