
オープンソースのモデルを、クラウドに何も送ることなく、ご自身のマシン上で実行できるようになりました。 @TPN_Labs(Bittensor SN65)は、競争的な最適化を通じてモデルを圧縮します。マイナーは実際のハードウェア制限とベンチマークの下限の中でモデルを縮小し、バリデーターが再びテストを実行します。基準をクリアする最小のモデルが勝者となります。@Gratis_AIは、そのようなモデル(または@huggingfaceからの任意のモデル)をブラウザやデスクトップアプリでローカルで実行します。 ただし、ローカル推論は依然としてご自身のハードウェアに依存します。 注目すべき点: • モデルはオンチェーンで最適化されます。最近のコンペティションでは、モデルサイズが約17GBから7.71GBに縮小され、ベンチマークスコアは66.57%から74.93%に向上しました。 • Gratisはセットアップ不要です。モデルを選択するか、Hugging Faceから読み込むだけで、一度ダウンロードすればデバイス上で実行できます。 • プライバシーはデフォルトで確保されます。すべてのプロンプトはご自身のマシン内に留まります。初期ダウンロード後はオフラインでも動作します。 • API料金は不要で、口座登録も必要ありません。 簡単な例:以前はハイエンドGPUが必要だったモデルが、今では通常のノートパソコンでも十分に圧縮され、Gratisを通じてデバイス内だけで利用可能になります。 TPNは小型で高性能なモデルを構築します。Gratisがそれらを実行します。 #Bittensor #Subnet65 #TPN
