- TetherのBitNet LoRAフレームワークは、スマートフォン、GPU、および消費者向けデバイス上でAIモデルのトレーニングを可能にします。
- このシステムはメモリ使用量を削減し、パフォーマンスを向上させ、VRAM要件を最大77.8%低減します。
- ユーザーはモバイルデバイス上で最大130億パラメーターのモデルを微調整でき、エッジAIの機能が拡張されます。
テザーは、QVAC Fabricプラットフォームを通じて新しいAIフレームワークを発表し、消費者向けデバイス上でクロスプラットフォームのBitNet LoRAトレーニングを可能にしました。このアップデートにより、数十億パラメータのモデルをスマートフォンやGPUで実行できるようになります。CEOのパオロ・アルドイノは、この開発を共有し、コスト削減とAIツールへの幅広いアクセスを強調しました。
クロスプラットフォームAIトレーニングでアクセスが拡大
QVAC Fabricのアップデートにより、BitNet LoRAのファインチューニングがクロスプラットフォーム対応になりました。これにより、AIモデルをさまざまなハードウェアやオペレーティングシステムで実行できるようになります。
注目すべきは、このフレームワークがAMD、Intel、AppleのGPU、モバイルチップセットを含む対応であり、VulkanおよびMetalバックエンドを使用して互換性を確保していることです。
Tetherによると、これはBitNet LoRAがこれほど広範なデバイスにわたって機能する初めての事例です。その結果、ユーザーは日常的なハードウェアでモデルを学習できるようになります。
一般消費者向けハードウェアでのパフォーマンス向上
システムは、BitNetとLoRAの技術を組み合わせることで、メモリと計算リソースの必要量を削減します。BitNetはモデルの重みを簡略化された値に圧縮し、LoRAは学習可能なパラメータを制限します。
これらの方法を組み合わせることで、ハードウェア要件が大幅に低下します。たとえば、GPUによる推論はモバイルデバイス上でCPUよりも2〜11倍速く動作します。
さらに、メモリ使用量はフル精度モデルと比較して大幅に低下します。ベンチマークでは、同等のシステムと比較してVRAM使用量が最大77.8%削減されます。
Tetherはスマートフォンでの微調整も実証しました。テストでは、Samsung S25のようなデバイスで1億2500万パラメータのモデルを数分で訓練できることを示しました。
モバイルおよびエッジデバイスがより大規模なモデルを処理
このフレームワークにより、より大規模なモデルをエッジデバイスで実行可能になります。Tetherは、iPhone 16上で最大130億パラメータのモデルを成功裏にファインチューニングしたと報告しました。
さらに、このシステムはAdreno、Mali、Apple BionicなどのモバイルGPUをサポートしています。これにより、AI開発は専用ハードウェアに限定されなくなります。
Paolo Ardoinoによると、AIの開発は高価なインフラに依存することが多い。彼は、このフレームワークが能力をローカルデバイスにシフトすると述べた。
Tetherは、このシステムが中央集権的なプラットフォームへの依存を減らすと述べました。また、ユーザーが自身のデバイス上でデータを学習および処理できるようにします。