Laya-MLXモデルは1GBのローカルメモリで動作し、高速な意思決定を実現

icon MarsBit
共有
AI summary icon概要
新しいプロジェクトの発表によると、Laya-MLXモデルが1GBのローカルメモリで動作可能になり、AppleのMLXフレームワーク向けに最適化されました。多言語バージョンは最大687.6MiBを消費し、M3 Maxで遅延を低く保ちながら毎秒395問を処理します。このオンチェーンニュース更新は、Apple Silicon Mac向けのローカルデプロイサポートを強調しています。このオープンソースプロジェクトはGitHubで利用可能です。

いや、Jevはたった1週間で話題になったのに、1GBにも満たないローカル版まで作られてしまった???

ある開発者が、オープンソースのLayaのネイティブ版をApple MLXに移植し、Laya-MLXを実現しました——

421Mパラメータバージョンでは、最大MLXメモリ使用量は943.6MiBです。

322Mのマルチリンガルバージョンに変更したところ、さらに687.6MiBまで減少しました。

決定モデル

クラウドAPIを使わず、PyTorchやTransformersランタイムも不要で、モデルをMacにダウンロードすればそのまま実行できます。

しかも小さいながら、スピードはかなり速い。

M3 Max上で、Laya-MLXの短い決定P50は最短で7.39ms、421Mバージョンは13.42msです。

50の質問を一度に投入しても、322Mの多言語バージョンのスループットは395質問/秒まで達する。

オープンソース版 Jev

Jevはこの2日間で皆様にもおなじみになったことでしょう。

通常のLLMとの最大の違いは、最も時間がかかるテキスト生成を完全に削除し、チャットもせず、コードも書かず、記事も作成せず、ただ一つのことに集中して判断を下すことです。

(バート:ん?この仕事内容、どこかで聞いたことあるような…)

逐トークン生成のステップが欠けているため、推論速度は従来のLLMと明確に差がつきます。

このシンプルで強引な遊び方により、Jevのリリース後すぐに話題となった。

決定モデル

その後、オープンソースの代替品が登場しました。

Laya、多言語・非自己回帰的なSystem 1意思決定モデル。

考え方はJevと似ており、テキスト生成に計算リソースを費やすのではなく、構造化された問題に対して直接意思決定結果を出力し、GitHubではすでに10.4kのスターを獲得しています。

決定モデル

現在、主に以下の3つの作業を行っています:

choice:複数の選択肢から一つを選ぶ;score:指定された基準に基づいて点数を付ける;noul:ある出来事がTrueである確率を判断する。

状態と判断が必要な問題を一度に渡し、1回のフォワードで結果を得る。

Layaには現在主に3つのチェックポイントがあります。

英語バージョンはModernBERT-large、421Mパラメータに基づいています。

多言語バージョンはmmBERT-baseをベースにしており、パラメータ数は322Mで、100以上の言語をサポートします。

また、typed-decisionsワークフロー用の421Mバージョンもあります。

決定モデル

モデル自体のパラメータ数はたった数億で、速度もすでに非常に速いです。

オリジナルのLayaはTesla T4上で、1つの質問あたり約33msです。バッチ処理では平均して7.2ms/質問に抑えられ、1枚のGPUで最大で毎秒数百の質問を処理できます。

プロジェクトが参照するサードパーティのJev P50の遅延は236~276msであるのに対し、Layaが独自に測定した単一問題の遅延は32.8msで、約7~8倍速い。

yped-decisionsの2000回の意思決定テストにおいて、特別に微調整されたLayaバージョンの正確率は76.6%でした(以前のJevの公開成績は72.7%)。

決定モデル

オープンソース版が登場し、速度も遅くありません。

その後、さらに小さくできるかどうかを考え始める人が現れた。

そこでLaya-MLXが登場しました。

ローカルで1GBで実行可能

Laya-MLXはLayaの推論スタックを動かしています。

開発者は既にオリジナルのLayaを自らデプロイできるようになっていますが、主にPyTorchやTransformersの環境で動作させています。

mizorewwwはApple MLXフレームワーク上でLayaの完全なニューラルネットワークアーキテクチャを再実装し、モデルがApple Silicon上でネイティブに実行できるようにしました。

PyTorchとTransformersのランタイムはどちらも不要であり、クラウドAPIをリクエストする必要もありません。

また、推論スタックを変更した後も、従来の結果と一致している必要があります。

Laya-MLXは、3つのチェックポイントをそれぞれFP32とFP16で検証し、63の検証問題すべてで、オリジナルのLayaが選択した回答と一致しました。

3つのモデル、2つの精度で、合計378/378回の比較を通過し、推論結果のずれは発生しませんでした。

テストマシンはM3 Maxで、40コアのGPU、128GBのユニファイドメモリを搭載しています。

決定モデル

421M英語版では、短い質問を処理する際のMLX割当のピークが943.6MiBであったのに対し、322M多言語版ではさらに687.6MiBに低下しました。

しかし、速度は縮小していません。

同じM3 Maxデバイス上で、421Mバージョンは短い質問を処理する際にP50レイテンシが13.42ms、322Mマルチランゲージバージョンは7.39msです。

P95はそれぞれ13.92msと7.79msです。

一度に50の質問を投入すると、マルチリンガルバージョンのスループットはすぐに395質問/秒に達します。

決定モデル

そして、これらの時間はモデルのコアオペレーターの純粋な遅延ではありません。

プロジェクトの計時範囲には、promptの準備、トークン化、テンソル構築、同期推論、キャリブレーション、および最終結果のフォーマットが含まれますが、モデルのロード時間は除外されます。

言い換えれば、7.39msは、短期的な意思決定がエントリーから結果が出るまでのエンドツーエンドの遅延を測定しています。

Laya-MLXは、贪吃蛇ゲームの意思決定を秒間60回の速度で行うことができます。

ここでは一歩進むたびにLayaを実際に呼び出し、現在の状態に基づいて再び意思決定を行います。外側にはサイクルセーフティレイヤーが危険な動作を修正します。

プロジェクトのテスト済みのコンパイルとprefixリユース最適化を適用した後、同じM3 Maxマシン上で2400ステップを連続実行——

75.40 回/秒の移動、0回の死亡。

全体のプロセスにおいて、セキュリティ層が2回介入し、ごく一部のシナリオでアクションを修正しました。

三行运行

ご興味のある方は、Apple Silicon Macでローカルにデプロイできます。

現在のプロジェクトにはPython 3.11+、macOS 14+が必要です。

依存関係をインストール後、直接ライブラリをインポートして、変換済みのチェックポイントを読み込みます:

pip install laya-mlx import laya_mlx as laya agent = laya.load(“aac6fef/laya-mlx”)

次に、stateと問題をagent.predict()に渡すだけです。

初回実行時にチェックポイントが自動的にダウンロードされ、以降の推論は完全にローカルで実行できます。

決定モデル

もちろん、小さいにも小さいなりの代償があります。

421Mの英語バージョンのコンテキストは512トークンのみです;

322Mの多言語版と421Mのtyped-decisions版は、いずれも1024トークンのみです。

1kのコンテキストは、ステート、指示、オプションを同時に収容する必要があるため、短い入力、高頻度の呼び出し、出力構造が明確な意思決定タスクに適しています。

短所は確かに存在しますが、オープンソースの達人たちは夜を徹して対応を進めています。没错、我々はすでに次のバージョンのdreamを準備中です!

Jev:私はたった1週間で人気になったばかりです。。。

プロジェクトアドレス:https://github.com/mizorewww/laya-mlx

本文は微信公众号「量子位」より、著者:聞楽

免責事項: 本ページの情報はサードパーティからのものであり、必ずしもKuCoinの見解や意見を反映しているわけではありません。この内容は一般的な情報提供のみを目的として提供されており、いかなる種類の表明や保証もなく、金融または投資助言として解釈されるものでもありません。KuCoinは誤記や脱落、またはこの情報の使用に起因するいかなる結果に対しても責任を負いません。 デジタル資産への投資にはリスクが伴います。商品のリスクとリスク許容度をご自身の財務状況に基づいて慎重に評価してください。詳しくは利用規約およびリスク開示を参照してください。