すべての人に一次情報を
ScaleWorldは、低解像度の動画予測と高解像度の補完を1つの共有ベックボーンで統合した因果型動画モデルです。専用の補完ネットワークを必要としないため、計算量とメモリ使用量を削減できます。
モデルは、予測用に長い低解像度履歴と、補完用に短くノイズを含む高解像度履歴という2つの因果状態を維持します。専門的な教師モデルから学習した予測と補完の動作を、局所速度一致によるタスク非対称オンポリシー蒸留(TA‑OPD)で統合学生に転送します。
実験では、WBenchベンチマークで統一モデルが平均スコア81.60を達成し、予測と補完を別々に行う従来のカスケード(81.58)よりわずかに高い性能を示しました。映像品質、設定適合度、相互作用適合度、一貫性、物理的リアリズムといった個々の指標でも同等の結果が得られました。
著者らは、本論文の主文では扱わなかった制約や課題について補遺Eで議論していることを明示しており、モデルにはまだ改善点が存在することを示唆しています。