新しい研究は、マルチモーダル大規模言語モデル（MLLM）が通常は1つの視覚表現だけを LLM に投入していることを指摘しています。これにより、各 LLM 層が必要とする画像の詳細レベルを無視していると論じられています。

そこで提案された Dynamic Gated Pathways (DGP) は、すべての ViT 層とすべての LLM 層を結びつけ、各 LLM 層が自分の意味状態に応じてどの ViT 層を参照するかを動的に決定します。 このように「全対全」のクロスレイヤー接続を実現することで、従来の静的接続よりも柔軟に情報を取得できます。

LLaVA‑1.5‑7B と 13B に DGP を組み込むと、ベースラインよりも SQA-I で +4.2、MM‑Vet で +3.3、VizWiz で +3.1、LLaVA‑W で +3.1 といった向上が観測されました。 1 バッチでの autoregressive 生成中に計測したため、実際の推論時の FLOPs とメモリ使用量も報告されています。

ただし、計算コストやメモリ負荷も増加します。 7B 版ではパラメータが 5.29% 増え、FLOPs が 4.07% 増加、メモリは 0.13% 減少しました。 13B 版ではパラメータが 4.27% 増え、FLOPs はほぼ変化しない（-0.07%）が、メモリは 4.13% 増加します。 これらは実験条件（バッチサイズ 1、エンドツーエンドの生成）で測定された値です。

DGP による動的ルーティングは、どの画像スケールが各 LLM 層に好まれるかを可視化できる点も重視されています。 こうした解析により、マルチモーダルモデルの設計がより意味的に合ったものになる可能性が示唆されています。