arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

Coda‑DaVinciは代理モデリングと直接生成を切り替えて動画のリアリズムを向上 | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
コンピュータビジョン日本語公開済み

Coda‑DaVinciは代理モデリングと直接生成を切り替えて動画のリアリズムを向上

2026年11月22日arXiv: 2611.26595v1

Coda‑DaVinciは、テキストから動画を生成する際に、3D プロキシ(代理モデル)の細粒度を調整し、物理的に正しい相互作用を再現する必要がある場合に物理シミュレーションを組み込むことで、自然な動きと一貫した構図を実現することを報告しました。

この手法は、まずタスクに応じて代理モデルと直接生成を選択します。人間の動きには粗い代理モデル(低粒度)を使用し、物体や環境には中粒度の3D プロキシを採用します。さらに、シミュレーションを有効にする設定(P1)を組み合わせることで、物理的に正しい相互作用を再現します。

Coda-DaVinciのプロセス図:タスクに応じて直接生成とプロキシ生成を選択し、プロキシの粒度と物理シミュレーションの有無を設定する。
Figure 1. Coda‑DaVinciのタスク適応型ルーティングとプロキシ設定。低粒度プロキシは人間動作で使い、中粒度プロキシは物体と環境で使用。物理シミュレーション(P1)は正確な相互作用を実現します。Ji, Yiyan, Wang, Qixun, Shi, Yang, Zhang, Zhuoran, Xu, Yifan, Liu, Tengfei et al. · arXiv:2611.26595v1 · Figure 1: · CC BY 4.0

三つの公衆ベンチマーク(WorldMemBench、VGIF‑Bench、Principia)で評価した結果、G1/P1/PE2(中粒度プロキシ、物理シミュレーション使用、プロンプト強化)構成が一貫して四つの評価指標(整合性、指示従順度、物理的妥当性、自然性)の平均点で最高値を示しました。

三ベンチマークの評価結果が並んだテーブル。G1/P1/PE2が最も高いスコアを持つことが示されている。
WorldMemBenchVGIF-BenchPrincipiaAverage
ConfigurationC↑I↑P↑N↑C↑I↑P↑N↑C↑I↑P↑N↑C↑I↑P↑N↑
Direct generation2.1821.2422.4852.3332.4831.8282.2072.0002.5622.4062.0002.1562.4041.8192.2342.170
G0/P0/PE02.7583.0002.6062.4552.4292.2761.8971.4142.9692.9382.5622.5942.7312.7552.3722.181
G1/P0/PE02.6063.0002.5762.4552.6902.2071.4481.0342.9693.0002.6562.7192.7552.7552.2552.106
G2/P0/PE02.7883.0002.6062.4552.5522.0691.4481.0002.9062.8752.5312.5622.7552.6702.2232.043
G0/P1/PE02.6062.9702.7582.6972.4482.2761.7591.3452.9692.9692.5312.6252.6812.7552.3722.255
G1/P1/PE02.8183.0002.7882.6062.5862.2761.6901.2072.9692.9382.6882.7812.7982.7552.4152.234
G2/P1/PE02.7273.0002.7272.5452.4142.2411.3790.9312.9692.9382.7502.5622.7132.7452.3192.053
G1/P0/PE12.4552.9702.6362.6062.4142.1721.3450.8972.0622.4692.4382.2812.3092.5532.1701.968
G1/P0/PE22.7883.0002.5762.5452.5862.3101.4481.0342.9382.9692.5312.6562.7772.7772.2132.117
G1/P1/PE12.1822.6972.5152.2732.7242.8971.8281.3793.0003.0002.1112.2782.5622.8372.1751.950
G1/P1/PE22.8182.9702.7272.5152.9662.9312.0341.4483.0003.0002.5002.5942.9262.9682.4362.213
Table 1. WorldMemBench、VGIF-Bench、Principiaの三ベンチマークにおける評価指標で、G1/P1/PE2構成が四指標平均値で最高点を示す。Ji, Yiyan, Wang, Qixun, Shi, Yang, Zhang, Zhuoran, Xu, Yifan, Liu, Tengfei et al. · arXiv:2611.26595v1 · Table 1: · CC BY 4.0

ただし、長時間の動画生成では、シーンの安定性と設定への従順度が低下するケースが観測されました。代理モデルを使っていても、指示の後でシーンが想定通りに再現されないことがあり、直接生成に比べてオブジェクトの配置が不揃いになることがあります。

結論として、Coda‑DaVinciは代理モデリングと直接生成をタスク適応的に組み合わせることで、視覚的リアリズムと物理的妥当性を高める一手段であることが示されましたが、長期間にわたる一貫性とシーン設定への厳密な従順度を確保するためにはさらなる改良が必要です。

元論文

Coda-DaVinci: Reimagining Video Generation with Code2Video

コンピュータビジョン
arXiv で見る