SQLite AI open source le moteur d'inférence WASTE pour Kimi K3 sur MacBook 64 Go

icon MarsBit
Partager
AI summary iconRésumé
SQLite AI a open-sourcé son moteur d'inférence WASTE, permettant à l'ensemble du modèle Kimi K3 de fonctionner sur un MacBook Pro de 64 Go. Cette actualité on-chain marque une étape majeure dans le domaine de l'IA + crypto, puisque le modèle s'exécute à une vitesse de 0,49 à 0,54 jetons par seconde. Le modèle de 1 To conserve le noyau de 27 Go en mémoire et charge les experts depuis le SSD selon les besoins. Les poids sont re-quantifiés à 3 bits, avec le noyau utilisant 4 bits et 8 bits.

Selon les données de Beating Monitoring, la société de base de données périphérique SQLite AI a lancé le moteur d'inférence open source WASTE. Il permet d'exécuter Kimi K3 avec toutes les couches et tous les experts sur un MacBook Pro de 64 Go. Le modèle converti occupe environ 1 To, avec une vitesse de 0,49 à 0,54 token par seconde. WASTE conserve environ 27 Go du noyau du modèle en mémoire, tandis que plus de 80 000 experts sont stockés sur le SSD intégré. Chaque fois qu'un token est généré, seul l'expert actuellement appelé est lu depuis le disque dur. Cette version ne comporte ni distillation, ni élagage, ni suppression d'experts. Toutefois, les poids des experts ont été re-quantifiés à 3 bits, et le noyau du modèle utilise des quantifications à 4 et 8 bits.

Source:Afficher l'original
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations. Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.