- TetherのTurboQuantは、AIのメモリ使用量を最大5倍削減し、デバイスがローカルでより長いタスクを処理できるように支援します。
- QVAC 0.12.0 により、開発者はメモリへの負荷を減らしながら、ラップトップやスマートフォンでより大規模なAIワークロードを実行できます。
- TurboQuantは、AIのメモリボトルネックを解決し、より長いチャット、より大きなファイル、より大規模なコードプロジェクトを可能にします。
Tetherは、QVAC SDK 0.12.0に新しいメモリ最適化ツールを追加しました。この措置により、ラップトップやスマートフォンその他のデバイスがローカルでより大きなワークロードを処理できるようになります。CEOのパオロ・アルドイノはXでこのアップデートを発表し、リリースにはTurboQuantが含まれており、出力品質をほぼ維持したままAIのメモリ要件を最大5倍削減できる技術であると述べました。
このアップデートは、大規模言語モデルの重要な制限であるメモリに焦点を当てています。会話やタスクが長くなるにつれて、メモリ要求は急激に増加します。TurboQuantはこの負荷を軽減し、デバイスがより大きなドキュメント、より長い会話、そしてより多くの情報を同時に処理できるようにします。
このリリースには、テキストから動画を生成する機能、ロボット制御機能、コーディングアシスタントのサポート、音声処理のアップグレード、および高速な画像分類ツールが追加されます。
TurboQuantはAIのメモリボトルネックをターゲットにしています
TurboQuantは、QVAC SDK 0.12.0のリリースの中心に位置しています。この技術は、AIモデルがセッション中に会話、ドキュメント、その他の情報を追跡するために使用するKVキャッシュという種類の作業メモリを圧縮します。
ユーザーがモデルに更多の情報を入力すると、メモリの要求が増加します。Tetherは、40億パラメーターのモデルが約262,000トークンを処理する場合、キャッシュだけで約8GBのメモリを必要とする可能性があると述べています。この規模で複数のセッションを実行すると、多くのラップトップや消費者向けデバイスの限界を迅速に超えてしまいます。
TurboQuantは、その圧力を軽減することを目的としています。Tetherによると、この技術は出力品質をほぼ維持したまま、KVキャッシュメモリの必要量を最大5倍まで削減できます。その結果、ユーザーはリモートコンピューティングリソースへの依存を減らしながら、より長い会話、より大きなドキュメント、より大規模なコードベースを扱えるようになります。
QVACが言語モデルを超えて拡大
このアップデートにはメモリの改善だけでなく、開発者がローカルデバイス上で実行できる機能を拡張することを目的とした新しいツールが複数追加されています。
追加機能には、Wan2.1モデルによるテキストから動画への生成対応が含まれます。また、プラットフォームは、開発者がロボット制御用アプリケーションを構築できるビジョン・ランゲージ・アクション機能を導入しました。
このリリースでは、より大規模なビジョンモデルを必要としないタスク向けに軽量の画像分類ツールも追加されました。同時に、QVACはテキスト音声変換および音声認識システムをGGMLエンジンに移行し、主要なデスクトップおよびモバイルオペレーティングシステムへの対応が広がりました。
開発者はコーディングアシスタントの新しいオプションも得ました。QVACは、モデルの管理とデプロイを簡素化するプロバイダーパッケージを通じて、OpenCodeおよびOpenClawと統合されました。
関連記事: Multicoin共同創設者が、暗号通貨アイデンティティ危機の中で「Web3は死んだ」と宣言
オープンソースAIがエッジに近づいています
リリースは、Tetherが中央集権的なデータセンターに完全に依存するのではなく、ユーザーのデバイス上でより多くのコンピューティングタスクを直接実行することに焦点を当てていることを示しています。同社は、個人用デバイス、ローカルネットワーク、および分散型システム全体で動作可能なソフトウェアにますます注力しています。
「グーグルの研究では、AIのメモリが多くの人が想定するよりもはるかに効率的に圧縮できることが示されました。私たちの取り組みは、この画期的な成果を、開発者、スタートアップ、ユーザーが実際に活用できるプロダクションソフトウェアに実装しました」とアルドイノは述べました。
彼は追加で、「人々はAIアシスタントに長い文書を読ませたり、プロジェクトを記憶させたり、コードの支援をしたり、プライベートな情報を処理したりできるべきであり、すべてのタスクがリモートデータセンターを経由しなければならないべきではない」と述べた。
このローンチは、Tetherがメモリ最適化ツールを超えた取り組みを拡大している時期に合わせて行われます。Ardoinoは最近、同社がオープンソースのピアツーピア検索エンジンを開発中であることを明らかにし、分散型Wikipedia検索システムのデモを共有しました。
関連:マイケル・バリー、Nvidiaの54億ドルGPU取引を「フーガジ」と呼ぶ
免責事項：本記事に記載されている情報は、情報提供および教育目的でのみ使用することを目的としています。本記事は金融アドバイスまたはいかなる種類のアドバイスでもありません。Coin Editionは、本記事で言及されたコンテンツ、製品、またはサービスの利用によって生じた損失について一切の責任を負いません。読者は、同社に関連する行動を取る前に注意を払うことを推奨します。