SQLite AI abre el motor de inferencia WASTE para ejecutar Kimi K3 en un MacBook de 64 GB

iconKuCoinFlash
Compartir
AI summary iconResumen
SQLite AI ha abierto el código de su motor de inferencia WASTE, permitiendo que el modelo completo Kimi K3 funcione en un MacBook Pro de 64 GB. El modelo, convertido a 1 TB, opera a 0,49–0,54 tokens por segundo. WASTE carga solo los expertos necesarios desde el SSD, manteniendo el núcleo de 27 GB en memoria. Los pesos se re-cuantizan a 3 bits y de 4 a 8 bits. Esta noticia de IA + cripto representa un avance en las noticias on-chain para la eficiencia de los modelos.
ME AI News, according to monitoring by Beating, the edge database company SQLite AI has open-sourced its inference engine WASTE. It enables Kimi K3, which retains all layers and experts, to run on a 64GB MacBook Pro. The converted model occupies approximately 1TB and operates at a speed of 0.49 to 0.54 Tokens per second. WASTE keeps about 27GB of the model backbone in memory, while over 80,000 experts are stored on the built-in SSD. For each generated Token, only the currently invoked expert is read from the hard drive. This version does not involve distillation, pruning, or removal of experts. However, expert weights have been requantized to 3-bit, and the model backbone uses 4-bit and 8-bit. (Source: MLion)
Fuente:Mostrar original
Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información. Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.