新しいベンチマーク研究が、視覚と言語を結びつける最新のモデル（VLM: vision-language models）が「欠けているもの」をどれだけ推定できるかを検証しました。arXiv に掲載された論文「OccludeBench: Can VLMs Find What's Missing?」は、完全に隠れた物体を、残された視覚的手がかりから復元できるかを厳密に調べます。著者らは慎重にキュレーションしたデータセットと診断手法を用い、モデルの強みと弱点を明らかにしています。以下は主要なポイントの要約です。

何をテストしたか - OccludeBench は「完全に隠れた物体」を復元することに特化したベンチマークです。隠れ方は大きく二種類に分けられます。1) 直接的な手がかりが必要なケース（影や反射など、物理的な投影から特定の物体を復元する場合）と、2) 場面全体の文脈から推測できる推論的ケース（置かれている状況や周囲の物から欠損物を推測する場合）です。

主要な発見 - 5つの代表的な VLM を試した結果、直接的ケースでの平均正答率は42.7%に対し、推論的ケースでは62.7%と、大きな差（約20ポイント）が見られました。つまり、影や反射といった物理的手がかりを読み取って厳密に復元するのは苦手で、場面の文脈から“ありそうなもの”を当てる方が得意、という傾向です。 - 人間の参加者は直接的ケースで63.4%、推論的ケースで68.5%と、両者の間に有意なギャップは見られませんでした。人間は物理的手がかりと文脈の両方を比較的安定して使えるようです。

どこでつまずくのか：OccludeTrace 診断 - 著者らは OccludeTrace と呼ぶ4段階の診断を導入し、視覚的推論プロセスのどの段階でモデルが失敗するかを細かく検出しました。最も顕著なボトルネックは「画像内に存在する投影（影や反射など）から、関連する物体を取り出す段階」でした。失敗した例のうち、この段階を正しくこなせるのは約50%にとどまり、正解した例での成功率（約91%）と比べて大きな差がありました。

改善の試みとその効果 - 長い推論チェーンや外部ツール利用、少数ショットのプロンプトといった介入は、改善の効果が安定せず一貫した解決策とはなりませんでした。対照的に「inpaint-then-confront（補完してから照合する）」という二段階の手法は、画像生成能力を持つモデルでは有意な改善を示し、直接的ケースと推論的ケースの差を統計的に有意でないレベルまで縮めました。具体的には、まずモデルに隠れた物体の仮説を生成（画像の補完）させ、その仮説を元に可視的手がかりと照合して評価させる方法です。

意義と注意点 - この研究は、VLM が「見えないもの」を推定する際の弱点を体系的に示すと同時に、失敗の局所化が可能な診断ツールを提供します。物理的投影と物体表現を結びつける能力が課題であることを明確にし、将来の研究やモデル設計の方向性を示唆しています。 - ただし本研究にも留意点があります。評価は手作業で選別されたデータセットと 5 モデルの組合せに基づいており、より多様なモデルや大規模データでの一般化は今後の検証が必要です。また、inpaint-then-confront が有効だったのは画像生成に対応したモデルに限られるなど、すべての状況で万能とは言えません。

結論 - OccludeBench と OccludeTrace は、視覚と言語を統合するモデルが「何が隠れているか」をどう扱うかを評価するための実用的で制御された枠組みを提供します。研究は、モデルが場面の文脈からの推論には比較的強い一方で、影や反射といった物理的証拠を正確に物体に結びつけるのが苦手であることを示しました。現時点では、一部の介入が改善をもたらす可能性が示されていますが、普遍的な解決にはさらに多くの研究と慎重な検証が必要です。