主要な洞察
- Tetherは、スマートフォン上で大規模言語モデルのトレーニングを可能にするフレームワークを導入しました。
- システムはBitNetアーキテクチャとLoRAファインチューニングを使用して、計算リソースの必要量を削減しました。
- 暗号資産企業はAIインフラと高性能計算への支出を増やした。
テザーは、大規模言語モデルを消費者向けハードウェア上で実行および微調整できる新しい人工知能トレーニングフレームワークを火曜日にリリースしました。このシステムは、同社のQVACプラットフォームの一部を構成し、スマートフォンと複数のNvidia以外のプロセッサをサポートしています。エンジニアは、メモリ要件を削減することで、言語モデルの構築とテストのコスト障壁を低下させることを目的にこのフレームワークを設計しました。
このローンチは、暗号資産インフラ企業が人工知能開発およびコンピューティング市場にさらに深く進出している中で実施された。時価総額最大のステーブルコインを発行するTetherは、このリリースを機械学習機能の分散化を図る試みと位置づけた。同社は、広く利用可能なハードウェア上でモデルのトレーニングを可能にすることで、中央集権的なクラウドプロバイダーへの依存を減らすことができるとしている。
Tether、BitNetベースのトレーニングシステムを導入
テザーの発表では、このフレームワークをマイクロソフトのBitNetアーキテクチャに基づくトレーニング環境と説明しました。設計には、1ビットニューラルネットワーク構造とLoRAファインチューニング手法が使用され、開発者が計算負荷を低く保ったままモデルを調整できるようにしています。
同社のエンジニアは、システムがスマートフォン上で最大10億パラメータの言語モデルを2時間以内に学習させたと述べました。同じアプローチで最適化された場合、より小さなモデルは数分以内に学習を完了したとのことです。同社はまた、このプラットフォームがモバイルデバイス上で130億パラメータまでのモデルをサポートしていると述べました。
エンジニアは、Nvidiaチップに依存するのではなく、複数のハードウェアエコシステムで動作するようにシステムを構築しました。このフレームワークは、AMDプロセッサ、Intelアーキテクチャ、Apple Siliconシステム、およびQualcommおよびAppleのモバイルグラフィックスプロセッサをサポートしました。この互換性により、従来の高性能コンピューティングクラスタを超えて機械学習の実験へのアクセスが拡大しました。
技術的な設計により、標準モデルと比較してグラフィックスメモリの要件が削減されました。内部エンジニアリングの結果、BitNetアーキテクチャは同等の16ビットシステムと比較してVRAM使用量を最大77.8%削減しました。
Tether、AIコンピューティングをNvidiaハードウェアを超えて拡張
Tetherは、このアーキテクチャにより、Nvidiaエコシステム外のハードウェア上でLoRAファインチューニングを可能にしたと述べました。開発者はこれまで、大規模なテンソル計算を効率的に処理できるため、Nvidiaのグラフィックスプロセッサに依存してきました。Tetherのエンジニアは、代替プロセッサ上で低ビットトレーニング手法を可能にすることで、この制約を解除しようと試みました。
同社は、このアーキテクチャがモバイルワークロードの推論速度を向上させたと主張した。テスト結果によると、モバイルグラフィックスプロセッサは、標準的な中央処理装置よりもBitNetモデルを数倍高速に処理した。この差異により、モデルをリモートのクラウドインフラに依存することなく、ハンドヘルドデバイス上でローカルに実行できるようになった。
開発者は、システム内で分散型機械学習手法も検討しました。Tetherは、独立したデバイスのネットワークにまたがって更新されるフェデレーテッドラーニングモデルの潜在的な用途を説明しました。この構造では、モデルは各デバイス上の情報を中央サーバーにアップロードすることなく、ローカルデータから学習します。
同社は、このアプローチがプライバシーに焦点を当てた学習環境を支援できると提案しました。データはローカルに保持され、モデルの更新のみがネットワーク間で転送されました。このアーキテクチャは、分散型コンピューティングシステムや分散型暗号ネットワーク内のトレンドと一致しています。
テザーの拡大は、暗号資産業界のAI推進と一致しています
デジタル資産セクター全体の市場活動では、人工知能インフラへの投資が増加しました。暗号通貨企業は、ブロックチェーン運用のために構築されたコンピューティング能力を、機械学習のワークロードに再利用する傾向が強まっています。
公的書類によると、テクノロジー企業が人工知能の需要に応じたコンピューティングパワーの確保のために提携を結んだ。9月に発表された取引では、Googleが30億ドルの価値を持つ10年間の契約の一環として、Cipher Miningの少数株式を取得した。この仕組みは、データセンターの容量を人工知能処理の要件と結びつけた。
企業の発表では、Bitcoinマイニング企業も資本を機械学習サービスに振り向けることを示唆しました。12月にマイナーのIRENは、人工知能運用のインフラを拡大するために約36億ドルを調達する計画を明らかにしました。
年初の企業業績報告は、同じ傾向を強化しました。HIVE Digital Technologiesは、高性能コンピューティングサービスを拡大した後、9310万ドルの収益を報告しました。ほぼ同時期に、Core Scientificは、コンピューティングインフラの成長を支援するためにモルガン・スタンレーから5億ドルの融資枠を確保しました。
開発者たちは、ブロックチェーンインフラと統合された自律型人工知能エージェントも実験しました。Coinbaseは、ソフトウェアエージェントがオンチェーンで直接取引を実行できるウォレットツールを提供しました。Alchemyは、エージェントがブロックチェーンデータにアクセスしつつ、ステーブルコインインフラを通じて支払いを決済できるサービスを導入しました。
アイデンティティネットワークは、人工知能システムとデジタル認証の関連性も探求しました。OpenAIの最高経営責任者であるサム・アルトマンが共同設立したアイデンティティネットワーク「World」は、今週初めにAgentKitをリリースしました。このツールキットにより、ソフトウェアエージェントはWorld IDシステムを通じて、独自の個人のアイデンティティとの接続を検証できるようになりました。
テザーの最新のフレームワークは、コンピューティングリソース、機械学習、ブロックチェーンシステムが交差する拡大する分野に導入されました。
同社は、開発者が中央化されたサーバーに依存せずに、これらのトレーニングツールを分散型アプリケーションやローカルデバイスに統合できると述べました。
次回の開発はテザーの人工知能フレームワークが、開発者の採用とデバイスレベルのパフォーマンステストに依存します。エンジニアは、今後のリリースでQVACプラットフォームが分散型消費者ハードウェア上で大規模モデルをどのように処理するかを監視する可能性があります。
投稿 Tether、スマートフォン上でモデル学習を可能にするAIフレームワークを発表 は最初に The Coin Republic に掲載されました。