研究者は、サーブプレイヤーが装着したカメラで85ラリーを撮影し、53,155枠の動画フレームを収集した。このデータは5台の外部カメラと同期され、球とプレイヤーの3D位置を多くの場合把握できる。

全てのフレームに対して、3D球軌跡・2Dコートフレーム内のプレイヤー軌跡・ショット種別・接触時間がアノテーションされている。

研究チームは視覚モデルを用い、7つの空間時系列タスクを評価した。タスクには現在フレームでの自分（エゴ）プレイヤーの2D位置、3D球位置、将来のプレイヤー・球の軌跡、フォアハンド・バックハンドの予測、次回球接触までの時間、接触時の球3D位置算出が含まれる。

画像エンコーダ、ビデオエンコーダ、視覚‑言語モデル（VLM）を微調整し、軽量な予測ヘッドを追加したモデル群で実験した。その結果、エゴプレイヤーの平均誤差は0.14 m、球の位置誤差は0.54 mであった。1.1 秒先の将来予測ではプレイヤーで0.34 m、球で0.91 m、接触時間予測は平均0.14 sであった。

追加の深度情報は球の3D位置推定を改善が見られたしたが、長期画像ヒストリの増加やバックボーンの固定は予測精度を向上させなかった。これにより、微調整が重要であることが示された。

さらに、予測ヘッドの出力を入力とする条件付き拡散モデルを提案し、リアルタイムで実際のプレイヤー姿勢を生成できることを示した。

全データセットとコードは公開され、機械学習コミュニティがスポーツ解析に新しい手法を適用できるようになる。