arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

リアルタイムでゲーム世界を構築・操作できる新システム『Wizard』 | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
コンピュータビジョン日本語公開済み

リアルタイムでゲーム世界を構築・操作できる新システム『Wizard』

2026年11月1日arXiv: 2610.40339v1

■ 主要発見

『Wizard』は、ゲームオブジェクトをリアルタイムに正確に制御し、ゲームロジックと一貫したプレイ体験を維持できるエージェント型ゲーム世界モデルです。ユーザーはキャラクターの動きやシーン構成を即座に変更でき、ゲームルール(例:ヒットポイントがゼロになると死ぬ)も自動で更新されます。

図1は、Wizardシステムのアーキテクチャ図で、視覚プロキシを用いた制御フローと、リアルタイムなゲームロジックの更新機構を示している。
Figure 1. Wizardの全体構造。可変マスクで対象キャラクター領域に焦点を合わせ、深度・高さと骨格構造を視覚プロキシとして扱うことで、リアルタイム(24 FPS)でゲームロジックと一貫したプレイ体験を実現する設計を示す。Wu, Yuzhe, Lin, Zijun, Jin, Yeying · arXiv:2610.40339v1 · Figure 1: · CC BY 4.0

■ 原理と手法

実装の核は、シーンの形状(深度・高さ)とキャラクターの骨格構造を構造化した視覚プロキシとして扱い、その情報を条件付け信号としたビデオジェネレーターです。さらに、参照画像に対してキャラクター領域のみを注目させる可変マスクを導入し、外観の整合性を保っています。対話型生成は、双方向拡散モデルを自己回帰フローに転換し、2ステップのノイズ除去で24FPSを実現しています。

■ 実験結果

トレーニングデータは、750のシーンと178のキャラクターで構成され、合計50.3時間にわたるビデオと統一プロキシを使用しました。このデータ上で学習したモデルは、多くの場合新しいシーン・キャラクター・動きに対しても追加の学習なしで動画を生成できます。評価では、ユーザー提供の参照画像とプロキシ入力を使い、リアルタイムで戦闘の進行を制御し、ゲームルールを適切に適用しました。

図5は、ユーザーが提供した参照画像とプロキシ入力を使い、Wizardがゼロショットで生成した複数のゲームプレイ映像を示している。
Figure 5. ゼロショット汎化の実例。左側に参照画像、上段に対応した視覚プロキシ、下段に生成されたゲームプレイ映像を配置し、未学習のシーン・キャラクター・モーションに対しても、プレイヤー提供の入力を用いてリアルタイムに戦闘を制御できることを示す。Wu, Yuzhe, Lin, Zijun, Jin, Yeying · arXiv:2610.40339v1 · Figure 5: · CC BY 4.0

■ 意義と限界

『Wizard』は、従来のゲームエンジンやシミュレータのように事前に定義されたアニメーションのみを扱うのではなく、任意の入力から即座に新しいゲーム世界を構築できる点で革新性があります。ただし、動作ライブラリに依存しているため、非常に異なる身体構造を持つキャラクターでは動作が見つけにくく、制御範囲が制限されます。また、長時間にわたる再生ではプロキシと生成映像の整合性がわずかに低下することが報告されています。

■ 画像説明

図1(本文下部に掲載)では、キャラクター制御とシーン生成を統合した全体構造を示し、リアルタイムでの32FPSの速度と機械的一貫性を強調しています。図5(本文下部に掲載)は、参照画像とプロキシを用いたゼロショット汎化の実例を示し、ゲームロジックの維持と新たなキャラクター・シーンへの適応を可視化しています。

元論文

Wizard: Manipulate Any World in Real Time via Agentic Control

コンピュータビジョン
arXiv で見る