Anthropicは8月24日、古いマシンでAIチャットボットに長い回答を取得しようとすると誰もがよく知る、会話をスライドショーのようにしてしまう苛立たしいストラット＆フリーズサイクルに対処するため、Claudeのストリーミング応答レンダラーにフロントエンド最適化を展開しました。
この更新はClaudeのWebアプリケーションとデスクトップアプリケーションに適用されます。Anthropicによると、長文の回答が約4倍スムーズにストリーミングされ、低性能ラップトップでの停止が9倍減少し、最悪の場合のフリーズが4.5倍縮小します。120Hz対応のMacBookなどのハードウェアでは、ストリーミング出力中に120fpsを維持できます。
裏で実際に何が変わったのか
コアの修正はそのシンプルさが優れている。以前は、Claudeのモデルからの各トークンが、レスポンスコンテナ全体、または少なくともその大部分の再描画を引き起こしていた。新しいアプローチでは、UIの更新を実際に変更された要素にのみ制限しており、1トークンあたりの計算オーバーヘッドが大幅に削減される。これは、GPUの処理能力が限られているマシンや古いプロセッサにおいて特に重要である。
重要な点として、Anthropicは今回のリリースでモデルやAPIに任何の変更も行っていません。生成速度、出力品質、および基盤となる推論パイプラインは一切変更されていません。これは純粋にプレゼンテーション層の改善です。
AIレースにおいてUIパフォーマンスが重要な理由
120 fpsの持続可能なフレームレートという数値は特に示唆的です。ほとんどのウェブアプリケーションはフレームレートを意識する必要はありませんが、ストリーミングテキストレンダラーは実質的にアニメーションです。新しいトークン1つが1フレームの更新に相当します。長文の応答で数百のトークンを生成する場合、それは数百回の連続的なフレーム更新となり、わずかな遅延もストラクチャやフリーズとして可視化されます。
互換性のあるハードウェアで120fpsを実現することで、Anthropicのレンダラーはフレームを落とすことなく、AppleのProMotionディスプレイのリフレッシュレートに一致できるようになりました。
フィードバックループとその限界
ソーシャルメディアでのユーザーの反応は全体的に肯定的で、多くのユーザーが、長時間の会話中に改善がすぐに感じられたと指摘しました。しかし、一部の反応では、Anthropicを含むすべてのAI企業が直面する課題が浮き彫りになりました：インターフェースを磨いても、モデルそのものを修正することはできません。複数のユーザーが、Claudeが引用を空想したり、誤った情報を自信を持って提供しても、ストリーミングが滑らかになるだけでは役に立たないと指摘しました。
この更新は、Anthropicの企業向け事業計画にも影響を与えます。企業ユーザーは、開発者や早期採用者が使用するものよりも古めの標準化されたハードウェアをよく使用します。遅いラップトップでの停止が9倍減少することは、ブログ記事の良い統計データ以上の意味を持ちます。それは、従業員が実際に使用する企業導入と、1週間のイライラするフリーズの後で競合製品に乗り換える導入との違いです。