すべての人に一次情報を
最近の研究で、人気のある視覚基盤モデル（10種）が持つ空間認知機能を4つの層に分類しました。L1は「空間構造」、L2は「物体保持」、L3は「予測空間更新」、L4は「行动性」です。実験では、室内の静的映像を自己視点で連続撮影し、時間的に長くなる先行情報（prefix）を使って各層の機能を測定しました。
実験結果では、Fast3RとVideoMAEが物体保持の角度誤差（Angular Error）が最も低く、最も良いカメラ姿勢推定が可能でした。一方、DINOv2は深度予測において最も優れており、可視性の高いシーンが必ずしも物体保持性能を保証しないことを示しています。
| Metric geometry | ||
| Instance identity |
| View consistency |
| Object persistence |
| Direct prediction |
| Path integration |
| Model (layer) | Depth loss ↓ | AUC@30 ↑ | Instance loss ↓ | Bal. acc. ↑ | Ang. err. (∘) ↓ | Global R@1 ↑ | Global R@1 ↑ |
| DINOv2-L (0) | 0.1422 | 0.0412 | 1.3828 | 0.9557 | 65.38 | 0.2373 | 0.0900 |
| Fast3R (24) | 0.1386 | 0.3870 | 1.6072 | 0.9808 | 32.79 | 0.0133 | 0.0190 |
| VideoMAE-L (23) | 0.2968 | 0.2026 | 4.1571 | 0.9118 | 36.45 | 0.0531 | 0.0685 |
| V-JEPA2-L (23) | 0.2708 | 0.1854 | 2.9211 | 0.9256 | 45.31 | 0.0625 | 0.1588 |
| Qwen2.5-VL (−1) | 0.2244 | 0.0269 | 2.9476 | 0.9385 | 68.59 | 0.1712 | 0.0903 |
| Wan (20) | 0.3609 | 0.0650 | 4.9301 | 0.8215 | 62.38 | 0.0260 | 0.0405 |
| CogVideoX (20) | 0.4340 | 0.0276 | 6.6992 | 0.8001 | 70.62 | 0.0088 | 0.0160 |
| Aether (1) | 0.5270 | 0.0185 | 7.1847 | 0.6928 | 61.18 | 0.0024 | 0.0042 |
| MiniMax-H3 (30) | 0.4252 | 0.0477 | 6.2265 | 0.8255 | 55.97 | 0.0249† | 0.0117† |
| LingBot-video (30) | 0.4314 | 0.0232 | 5.5875 | 0.7858 | 70.30 | 0.0302 | 0.0429 |
しかし、実際に将来の特徴量を読み取るように訓練されたプローブを、モデルが自ら予測した特徴量に対してそのまま適用すると、深度予測の平均絶対誤差（MAE）が0.182から0.246へと悪化しました。再訓練しても改善されるものの、実際の特徴量に対する性能に届かないことが分かります。また、目標情報を与えても行動予測の精度が大きく改善されることはほとんどなく、モデルが目標に対して敏感である一方で、実際に進捗を生む行動を選択できないギャップが残っています。
以上の結果は、視覚基盤モデルが空間認知の多層的な表現を持つことを確認しつつ、保持や将来予測、および行動計画の精度に大きなばらつきがあることを示しています。特に、予測パイプラインを通過した場合に情報が失われる点が課題であり、実用化にはさらなる改良が必要です。