すべての人に一次情報を
PoseRieFlowは、テキスト入力から全身3次元ヒューマンポーズを生成する新しいフレームワークです。
本手法では、52個のSMPL‑Hジョイントを8つのボディパート(体、手、脚など)に集約したパートトークン化ディフュージョン・トランスフォーマーを使用します。各パートには専用のトークンと非線形プロジェクターが割り当てられ、パート別デコーダーでジョイントレベルの解像度を復元します。
PoseRieFlowは、生成をRiemannianジオデシク上で直接行うことで、テキストに条件付けられたベクトル場を学習し、SO(3)正規分布からデータ分布へとサンプリングを移動させます。
PoseScriptベンチマークでの評価では、手を生成する全手法の中で、最も低い全身キネマティクス誤差を達成しました。PA‑MPJPEは111.5 mm、ジオメトリカルエラーは10.32 °で、次に高いPoseScriptでは206.5 mmと23.41 °でした。
本研究の限界として、キャプションと評価はPoseScriptスタイルの記述とMotion‑X++が自動生成した全身ポーズ記述に依存している点が挙げられます。これは自由形態自然言語への汎化が不明で、AMASSやMotion‑X++に含まれるバイアスを引き継ぐ可能性があります。さらに、ボディシェイプ、表情、接触制約はモデルに含まれていません。
PoseRieFlowは、正確な幾何学を用いたポーズ生成が、より正確でコンパクトなテキスト入力からの人間ポーズ生成を実現できることを示しています。