動察 Beating の監視によると、エッジデータベース企業のSQLite AIが、オープンソースの推論エンジンWASTEをリリースしました。これにより、すべてのレイヤーとエキスパートを保持したKimi K3を、64GBのMacBook Pro上で実行可能になります。変換後のモデルは約1TBの容量で、処理速度は毎秒0.49～0.54トークンです。WASTEは約27GBのモデルバックボーンをメモリに保持し、8万以上のエキスパートを内蔵SSDに配置します。1トークンを生成するたびに、現在呼び出されたエキスパートのみをハードディスクから読み込みます。このバージョンでは、蒸留、カット、エキスパートの削除は行っていませんが、エキスパートの重みは3ビットに再量子化され、モデルバックボーンは4ビットおよび8ビットで実装されています。
SQLite AI、Kimi K3用の推論エンジンWASTEを64GB MacBookでオープンソース化
MarsBit共有
概要
SQLite AIは、推論エンジンWASTEをオープンソース化し、64GBのMacBook Pro上で完全なKimi K3モデルを実行可能にしました。このオンチェーンニュースは、モデルが秒間0.49～0.54トークンの速度で動作するという点で、AI＋暗号通貨ニュースにおける大きな一歩です。1TBのモデルは27GBのバックボーンをメモリに保持し、必要に応じてSSDからエキスパートを読み込みます。重みは3ビットに再量子化され、バックボーンは4ビットと8ビットを使用しています。
出典:原文を表示
免責事項: 本ページの情報はサードパーティからのものであり、必ずしもKuCoinの見解や意見を反映しているわけではありません。この内容は一般的な情報提供のみを目的として提供されており、いかなる種類の表明や保証もなく、金融または投資助言として解釈されるものでもありません。KuCoinは誤記や脱落、またはこの情報の使用に起因するいかなる結果に対しても責任を負いません。
デジタル資産への投資にはリスクが伴います。商品のリスクとリスク許容度をご自身の財務状況に基づいて慎重に評価してください。詳しくは利用規約およびリスク開示を参照してください。