いや、Jevはたった1週間で話題になったのに、1GBにも満たないローカル版まで作られてしまった???
ある開発者が、オープンソースのLayaのネイティブ版をApple MLXに移植し、Laya-MLXを実現しました——
421Mパラメータバージョンでは、最大MLXメモリ使用量は943.6MiBです。
322Mのマルチリンガルバージョンに変更したところ、さらに687.6MiBまで減少しました。

クラウドAPIを使わず、PyTorchやTransformersランタイムも不要で、モデルをMacにダウンロードすればそのまま実行できます。
しかも小さいながら、スピードはかなり速い。
M3 Max上で、Laya-MLXの短い決定P50は最短で7.39ms、421Mバージョンは13.42msです。
50の質問を一度に投入しても、322Mの多言語バージョンのスループットは395質問/秒まで達する。
オープンソース版 Jev
Jevはこの2日間で皆様にもおなじみになったことでしょう。
通常のLLMとの最大の違いは、最も時間がかかるテキスト生成を完全に削除し、チャットもせず、コードも書かず、記事も作成せず、ただ一つのことに集中して判断を下すことです。
(バート:ん?この仕事内容、どこかで聞いたことあるような…)
逐トークン生成のステップが欠けているため、推論速度は従来のLLMと明確に差がつきます。
このシンプルで強引な遊び方により、Jevのリリース後すぐに話題となった。

その後、オープンソースの代替品が登場しました。
Laya、多言語・非自己回帰的なSystem 1意思決定モデル。
考え方はJevと似ており、テキスト生成に計算リソースを費やすのではなく、構造化された問題に対して直接意思決定結果を出力し、GitHubではすでに10.4kのスターを獲得しています。

現在、主に以下の3つの作業を行っています:
choice:複数の選択肢から一つを選ぶ;score:指定された基準に基づいて点数を付ける;noul:ある出来事がTrueである確率を判断する。
状態と判断が必要な問題を一度に渡し、1回のフォワードで結果を得る。
Layaには現在主に3つのチェックポイントがあります。
英語バージョンはModernBERT-large、421Mパラメータに基づいています。
多言語バージョンはmmBERT-baseをベースにしており、パラメータ数は322Mで、100以上の言語をサポートします。
また、typed-decisionsワークフロー用の421Mバージョンもあります。

モデル自体のパラメータ数はたった数億で、速度もすでに非常に速いです。
オリジナルのLayaはTesla T4上で、1つの質問あたり約33msです。バッチ処理では平均して7.2ms/質問に抑えられ、1枚のGPUで最大で毎秒数百の質問を処理できます。
プロジェクトが参照するサードパーティのJev P50の遅延は236~276msであるのに対し、Layaが独自に測定した単一問題の遅延は32.8msで、約7~8倍速い。
yped-decisionsの2000回の意思決定テストにおいて、特別に微調整されたLayaバージョンの正確率は76.6%でした(以前のJevの公開成績は72.7%)。

オープンソース版が登場し、速度も遅くありません。
その後、さらに小さくできるかどうかを考え始める人が現れた。
そこでLaya-MLXが登場しました。
ローカルで1GBで実行可能
Laya-MLXはLayaの推論スタックを動かしています。
開発者は既にオリジナルのLayaを自らデプロイできるようになっていますが、主にPyTorchやTransformersの環境で動作させています。
mizorewwwはApple MLXフレームワーク上でLayaの完全なニューラルネットワークアーキテクチャを再実装し、モデルがApple Silicon上でネイティブに実行できるようにしました。
PyTorchとTransformersのランタイムはどちらも不要であり、クラウドAPIをリクエストする必要もありません。
また、推論スタックを変更した後も、従来の結果と一致している必要があります。
Laya-MLXは、3つのチェックポイントをそれぞれFP32とFP16で検証し、63の検証問題すべてで、オリジナルのLayaが選択した回答と一致しました。
3つのモデル、2つの精度で、合計378/378回の比較を通過し、推論結果のずれは発生しませんでした。
テストマシンはM3 Maxで、40コアのGPU、128GBのユニファイドメモリを搭載しています。

421M英語版では、短い質問を処理する際のMLX割当のピークが943.6MiBであったのに対し、322M多言語版ではさらに687.6MiBに低下しました。
しかし、速度は縮小していません。
同じM3 Maxデバイス上で、421Mバージョンは短い質問を処理する際にP50レイテンシが13.42ms、322Mマルチランゲージバージョンは7.39msです。
P95はそれぞれ13.92msと7.79msです。
一度に50の質問を投入すると、マルチリンガルバージョンのスループットはすぐに395質問/秒に達します。

そして、これらの時間はモデルのコアオペレーターの純粋な遅延ではありません。
プロジェクトの計時範囲には、promptの準備、トークン化、テンソル構築、同期推論、キャリブレーション、および最終結果のフォーマットが含まれますが、モデルのロード時間は除外されます。
言い換えれば、7.39msは、短期的な意思決定がエントリーから結果が出るまでのエンドツーエンドの遅延を測定しています。
Laya-MLXは、贪吃蛇ゲームの意思決定を秒間60回の速度で行うことができます。
ここでは一歩進むたびにLayaを実際に呼び出し、現在の状態に基づいて再び意思決定を行います。外側にはサイクルセーフティレイヤーが危険な動作を修正します。
プロジェクトのテスト済みのコンパイルとprefixリユース最適化を適用した後、同じM3 Maxマシン上で2400ステップを連続実行——
75.40 回/秒の移動、0回の死亡。
全体のプロセスにおいて、セキュリティ層が2回介入し、ごく一部のシナリオでアクションを修正しました。
三行运行
ご興味のある方は、Apple Silicon Macでローカルにデプロイできます。
現在のプロジェクトにはPython 3.11+、macOS 14+が必要です。
依存関係をインストール後、直接ライブラリをインポートして、変換済みのチェックポイントを読み込みます:
pip install laya-mlx import laya_mlx as laya agent = laya.load(“aac6fef/laya-mlx”)
次に、stateと問題をagent.predict()に渡すだけです。
初回実行時にチェックポイントが自動的にダウンロードされ、以降の推論は完全にローカルで実行できます。

もちろん、小さいにも小さいなりの代償があります。
421Mの英語バージョンのコンテキストは512トークンのみです;
322Mの多言語版と421Mのtyped-decisions版は、いずれも1024トークンのみです。
1kのコンテキストは、ステート、指示、オプションを同時に収容する必要があるため、短い入力、高頻度の呼び出し、出力構造が明確な意思決定タスクに適しています。
短所は確かに存在しますが、オープンソースの達人たちは夜を徹して対応を進めています。没错、我々はすでに次のバージョンのdreamを準備中です!
Jev:私はたった1週間で人気になったばかりです。。。
プロジェクトアドレス:https://github.com/mizorewww/laya-mlx
本文は微信公众号「量子位」より、著者:聞楽
