Según el monitoreo de Beating, la empresa de bases de datos periféricas SQLite AI ha lanzado el motor de inferencia de código abierto WASTE. Esto permite que Kimi K3, que conserva todas las capas y expertos, funcione en una MacBook Pro de 64 GB. El modelo convertido ocupa aproximadamente 1 TB y alcanza una velocidad de 0,49 a 0,54 tokens por segundo. WASTE mantiene aproximadamente 27 GB del núcleo del modelo en memoria, mientras que más de 80 000 expertos se almacenan en el SSD integrado. Al generar cada token, solo se lee desde el disco duro al experto actualmente llamado. Esta versión no incluye destilación, recorte ni eliminación de expertos; sin embargo, los pesos de los expertos se han re-cuantizado a 3 bits, y el núcleo del modelo utiliza 4 bits y 8 bits.
SQLite AI lanza como código abierto el motor de inferencia WASTE para Kimi K3 en MacBook de 64 GB
MarsBitCompartir
Resumen
SQLite AI ha abierto el código de su motor de inferencia WASTE, permitiendo que el modelo completo Kimi K3 funcione en un MacBook Pro de 64 GB. Esta noticia on-chain marca un paso importante en las noticias de IA + cripto, ya que el modelo opera a 0,49 a 0,54 tokens por segundo. El modelo de 1 TB mantiene el núcleo de 27 GB en memoria y carga los expertos desde el SSD según sea necesario. Los pesos se han re-cuantizado a 3 bits, con el núcleo utilizando 4 bits y 8 bits.
Fuente:Mostrar original
Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información.
Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.