すべての人に一次情報を
Coda‑DaVinciは、テキストから動画を生成する際に、3D プロキシ(代理モデル)の細粒度を調整し、物理的に正しい相互作用を再現する必要がある場合に物理シミュレーションを組み込むことで、自然な動きと一貫した構図を実現することを報告しました。
この手法は、まずタスクに応じて代理モデルと直接生成を選択します。人間の動きには粗い代理モデル(低粒度)を使用し、物体や環境には中粒度の3D プロキシを採用します。さらに、シミュレーションを有効にする設定(P1)を組み合わせることで、物理的に正しい相互作用を再現します。

三つの公衆ベンチマーク(WorldMemBench、VGIF‑Bench、Principia)で評価した結果、G1/P1/PE2(中粒度プロキシ、物理シミュレーション使用、プロンプト強化)構成が一貫して四つの評価指標(整合性、指示従順度、物理的妥当性、自然性)の平均点で最高値を示しました。
| WorldMemBench | VGIF-Bench | Principia | Average | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Configuration | C↑ | I↑ | P↑ | N↑ | C↑ | I↑ | P↑ | N↑ | C↑ | I↑ | P↑ | N↑ | C↑ | I↑ | P↑ | N↑ |
| Direct generation | 2.182 | 1.242 | 2.485 | 2.333 | 2.483 | 1.828 | 2.207 | 2.000 | 2.562 | 2.406 | 2.000 | 2.156 | 2.404 | 1.819 | 2.234 | 2.170 |
| G0/P0/PE0 | 2.758 | 3.000 | 2.606 | 2.455 | 2.429 | 2.276 | 1.897 | 1.414 | 2.969 | 2.938 | 2.562 | 2.594 | 2.731 | 2.755 | 2.372 | 2.181 |
| G1/P0/PE0 | 2.606 | 3.000 | 2.576 | 2.455 | 2.690 | 2.207 | 1.448 | 1.034 | 2.969 | 3.000 | 2.656 | 2.719 | 2.755 | 2.755 | 2.255 | 2.106 |
| G2/P0/PE0 | 2.788 | 3.000 | 2.606 | 2.455 | 2.552 | 2.069 | 1.448 | 1.000 | 2.906 | 2.875 | 2.531 | 2.562 | 2.755 | 2.670 | 2.223 | 2.043 |
| G0/P1/PE0 | 2.606 | 2.970 | 2.758 | 2.697 | 2.448 | 2.276 | 1.759 | 1.345 | 2.969 | 2.969 | 2.531 | 2.625 | 2.681 | 2.755 | 2.372 | 2.255 |
| G1/P1/PE0 | 2.818 | 3.000 | 2.788 | 2.606 | 2.586 | 2.276 | 1.690 | 1.207 | 2.969 | 2.938 | 2.688 | 2.781 | 2.798 | 2.755 | 2.415 | 2.234 |
| G2/P1/PE0 | 2.727 | 3.000 | 2.727 | 2.545 | 2.414 | 2.241 | 1.379 | 0.931 | 2.969 | 2.938 | 2.750 | 2.562 | 2.713 | 2.745 | 2.319 | 2.053 |
| G1/P0/PE1 | 2.455 | 2.970 | 2.636 | 2.606 | 2.414 | 2.172 | 1.345 | 0.897 | 2.062 | 2.469 | 2.438 | 2.281 | 2.309 | 2.553 | 2.170 | 1.968 |
| G1/P0/PE2 | 2.788 | 3.000 | 2.576 | 2.545 | 2.586 | 2.310 | 1.448 | 1.034 | 2.938 | 2.969 | 2.531 | 2.656 | 2.777 | 2.777 | 2.213 | 2.117 |
| G1/P1/PE1 | 2.182 | 2.697 | 2.515 | 2.273 | 2.724 | 2.897 | 1.828 | 1.379 | 3.000 | 3.000 | 2.111 | 2.278 | 2.562 | 2.837 | 2.175 | 1.950 |
| G1/P1/PE2 | 2.818 | 2.970 | 2.727 | 2.515 | 2.966 | 2.931 | 2.034 | 1.448 | 3.000 | 3.000 | 2.500 | 2.594 | 2.926 | 2.968 | 2.436 | 2.213 |
ただし、長時間の動画生成では、シーンの安定性と設定への従順度が低下するケースが観測されました。代理モデルを使っていても、指示の後でシーンが想定通りに再現されないことがあり、直接生成に比べてオブジェクトの配置が不揃いになることがあります。
結論として、Coda‑DaVinciは代理モデリングと直接生成をタスク適応的に組み合わせることで、視覚的リアリズムと物理的妥当性を高める一手段であることが示されましたが、長期間にわたる一貫性とシーン設定への厳密な従順度を確保するためにはさらなる改良が必要です。