長文ビジョン・ランゲージモデルにおいてマルチモーダル検索ヘッドが特定される

icon MarsBit
共有
AI summary icon概要
『Can Retrieval Heads See Images? Multimodal Retrieval Heads in Long-Context Vision-Language Models』というタイトルの新しいEMNLP 2026論文は、モデルがオンチェーン分析を用いて長文内の関連する証拠を特定する方法を明らかにした。この研究では、モデルが特定のテキストまたは視覚コンテンツに注目するのを支援する「マルチモーダルリトリーバルヘッド」（MMRetHeads）を特定した。これらのヘッドは、Qwen3-VLやGemma3を含む6つのモデルでテストされ、無効化した場合に性能が低下したことが確認され、これらが証拠検索における役割を果たしていることが裏付けられた。オンチェーンデータが、これらの発見の検証に使用された。

Office AIとドキュメントエージェントの発展に伴い、大規模モデルは財務報告書、契約書、研究レポートなどの長文の画像とテキスト資料を直接処理し始めています。

しかし、文書全体を受け取ることができても、その情報を正しく使用できるとは限りません。

何百ページにも及ぶ文字、画像、テーブル、チャートの中から、モデルがまず答えるべきことは：現在の問題と真正に関連する証拠は、どこにあるのか？

EMNLP 2026に採択された論文「Can Retrieval Heads See Images? Multimodal Retrieval Heads in Long-Context Vision-Language Models」は、モデル内部からこのプロセスを調査しています。

長いコンテキストを扱う視覚言語モデル

「収まる」から「見つかる」へ

長いコンテキストを持つ視覚言語モデルは、大量のテキストと画像を同時に受け取ることができますが、最終的な回答はその中のごく一部の情報に依存することが多いです。関連する証拠は、テキストの一部であることもあれば、テーブル、画像、または特定のレイアウト領域に隠れていることもあります。

研究チームが注目している問題は、証拠が入力にすでに存在している場合、モデル内部に、質問を関連するテキストまたはビジュアルコンテンツに誘導する役割を担う注意ヘッドのグループが存在するかどうかである。

チームは、このような注意ヘッドをマルチモーダル検索ヘッド（MMRetHeads）と呼びます。

マルチモーダル検索ヘッドをどのように識別しますか？

QRHeadに触発されて、研究チームはMMRetHeads検出手法を提案しました。

具体的には、この手法は各アテンションヘッドのクエリからエビデンスへのアテンションを分析します。つまり、クエリトークンが注釈されたエビデンス領域に向けたアテンションです。エビデンスがテキストの場合、対応するのはテキストトークンであり、エビデンスが画像内にある場合はビジュアルトークンに対応します。エビデンスへのアテンションが強いほど、そのアテンションヘッドの検索スコアは高くなります。

長いコンテキストを扱う視覚言語モデル

△

Qwen3-VL、Gemma3を含む6つの長コンテキスト視覚言語モデルを対象に、テキスト検索、画像検索、レンダリングテキスト検索、同一画像検索などのタスクを実施し、8K、16K、32K、64K、128Kのコンテキスト長をテストしました。

分析により、テキストと画像の検索が一部のアテンションヘッドを共有することが判明しましたが、異なるコンテキスト長や証拠形式では異なるアテンションヘッドが呼び出されます。

これらの注意ヘッドは本当にモデルの回答に影響を与えるのでしょうか？

注目が証拠に向けられていることは、両者に相関関係があることを示すのみである。モデルがこれらのヘッドに実際に依存しているかどうかを検証するため、研究チームは高スコアの検索ヘッドをマスクし、同じ数のランダムな注意ヘッドをマスクした結果と比較した。

テキストおよび画像検索タスクにおいて、検索ヘッドをマスクすると、モデルのパフォーマンスは異なるコンテキスト長や証拠位置で著しく低下する。一方、ランダムなマスクによる影響ははるかに小さい。

同様の差異は、より現実的な長文質問応答にも見られます。

  • MMLongBench-Doc：48.2→5.7
  • SlideVQA：71.2→8.9

ランダムなシャッフル後、2つのタスクはそれぞれ32.2点と52.6点を維持した。検索ヘッドのシャッフルによる低下ははるかに顕著であり、これらのヘッドが証拠の周辺に注意を向けるだけでなく、モデルが証拠にアクセスするのに因果的な役割を果たしていることを示している。

マルチモーダル推論タスクにおいても同様の結果が観察される。検索ヘッドがマスクされた場合、モデルは入力にグラフが依然として存在するにもかかわらず「情報が不足している」と回答したり、誤った内容を読み取ったり、存在しない根拠を生成したりすることがある。

長いコンテキストを扱う視覚言語モデル

△

内部メカニズムからドキュメント検索まで

研究チームは、さらにこれらの注意ヘッドからの証拠信号をマルチモーダル文書検索に活用した。

与えられた質問に対して、MMRetHeadsは候補ページまたはレイアウト領域に対して関連性スコアを計算し、それに基づいて候補をランキングします。ページレベルの検索は証拠を含む全体のページを検索し、レイアウトレベルの検索はさらにページ内のテキストブロック、テーブル、画像、チャートを特定します。このプロセスには追加の検索器のトレーニングは必要ありません。

MMDocIRにおいて、Qwen3-VL-8BのページレベルRecall@1は64.7で、最も優れた既報告ベースラインを7.7ポイント上回り、レイアウトレベルRecall@1は39.0で、最も優れた既報告ベースラインを6.3ポイント上回りました。

長いコンテキストを扱う視覚言語モデル

△

論文リンク：https://arxiv.org/abs/2605.27243

本文は微信公众号「量子位」より、著者：MMRetHeadsチーム

出典:原文を表示
免責事項: 本ページの情報はサードパーティからのものであり、必ずしもKuCoinの見解や意見を反映しているわけではありません。この内容は一般的な情報提供のみを目的として提供されており、いかなる種類の表明や保証もなく、金融または投資助言として解釈されるものでもありません。KuCoinは誤記や脱落、またはこの情報の使用に起因するいかなる結果に対しても責任を負いません。 デジタル資産への投資にはリスクが伴います。商品のリスクとリスク許容度をご自身の財務状況に基づいて慎重に評価してください。詳しくは利用規約およびリスク開示を参照してください。