SQLite AI、Kimi K3を64GBのMacBookで実行するためのWASTE推論エンジンをオープンソース化

iconKuCoinFlash
共有
AI summary icon概要
SQLite AIは、WASTE推論エンジンをオープンソース化し、64GBのMacBook Pro上でKimi K3モデル全体を実行可能にしました。このモデルは1TBに変換され、0.49～0.54トークン/秒で動作します。WASTEはSSDから必要なエキスパートのみを読み込み、27GBのバックボーンをメモリに保持します。重みは3ビットおよび4～8ビットに再量子化されています。このAI＋暗号通貨ニュースは、モデル効率におけるオンチェーンニュースの進歩を示しています。
ME AIのニュース、動察Beatingの監視によると、エッジデータベース企業SQLite AIがオープンソースの推論エンジンWASTEをリリースしました。これにより、すべてのレイヤーとエキスパートを保持したKimi K3を、64GBのMacBook Pro上で実行可能になります。変換後のモデルは約1TBの容量で、処理速度は毎秒0.49～0.54トークンです。WASTEは約27GBのモデル本体をメモリに保持し、8万以上のエキスパートを内蔵SSDに配置します。1トークンを生成するごとに、ハードディスクから現在呼び出されたエキスパートのみを読み込みます。このバージョンでは、蒸留、カット、エキスパートの削除は行われていませんが、エキスパートの重みは3ビットに再量子化され、モデル本体は4ビットおよび8ビットで処理されています。（出典：MLion）
出典:原文を表示
免責事項: 本ページの情報はサードパーティからのものであり、必ずしもKuCoinの見解や意見を反映しているわけではありません。この内容は一般的な情報提供のみを目的として提供されており、いかなる種類の表明や保証もなく、金融または投資助言として解釈されるものでもありません。KuCoinは誤記や脱落、またはこの情報の使用に起因するいかなる結果に対しても責任を負いません。 デジタル資産への投資にはリスクが伴います。商品のリスクとリスク許容度をご自身の財務状況に基づいて慎重に評価してください。詳しくは利用規約およびリスク開示を参照してください。