ChainThinkのメッセージによると、3月16日、公式発表により、BittensorサブネットTemplar(SN3)は3月10日に史上最大の分散型LLMであるCovenant-72Bの事前学習を完了しました。
Covenant-72Bは、720億のパラメータを有する言語モデルで、TemplarチームによってBittensorサブネット3上で、集中型データセンターを必要とせずに一般インターネットのみを用いて事前学習されました。このモデルはMMLU（ゼロショット）テストで67.1点を記録し、同様の評価条件下でLLaMA-2-70BやLLM360 K2などの集中型ベースラインモデルを上回りました。これはこれまでで最大規模の、完全に許可不要な協調型言語モデルであり、運用中には70以上の異なるノードが計算リソースを提供しました。同チームは、すべての重みとチェックポイントをApacheライセンスに基づいて公開しています。
このニュースの影響で、Bittensor（TAO）およびそのサブネットトークンが広く上昇し、TAOは過去2週間で54.8%上昇しました。サブネットトークンτemplarは過去7日間で194%上昇し、現在の価格は19.3ドルです。