@TPN_Labsにとって大きな週でした。Gratisがついにリリースされ、これまで「サブネットは実装されない」と言われていたものが実際に実現しました。 これはアカウントもインストールも不要で、入力した内容は一切あなたのマシンから外に出ない、ブラウザタブやデスクトップ上でオープンソースモデルを直接実行できる無料アプリです。 私が感心したのはその技術的実装です。通常、ブラウザは1タブあたり4GBのメモリしか使用できませんが、これは本格的なモデルには不足しています。このチームは推論ランタイムを64ビットアドレッシングにフォークし、上限を16GBまで引き上げました。これにより、実用的なサイズのモデルがタブ内で動作可能になったのです。 また、このアプリはHugging Face上の90万以上のオープンソースモデルを無料で、利用制限なく読み込みます。なぜなら、あなたがすでに所有するハードウェア上で動作するからです。 ここにいる皆さんの利点は単純です。次に誰かが「サブネットは実際に何を生み出しているのか？」と聞いたら、1つのリンクを送るだけで、彼らは約1分で自分自身でモデルを実行できます。 チームに心からの称賛を。これが、誰もが触れられるローカルAIを実現する方法です。 明日、その背後にある数値の詳細を公開します。 1/2