arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

FlexPart:単一モデルで点・箱・マスクの可変粒度条件を受ける画像→3D部品生成フレームワークを提案 | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
コンピュータビジョン日本語公開済み

FlexPart:単一モデルで点・箱・マスクの可変粒度条件を受ける画像→3D部品生成フレームワークを提案

2026年10月24日arXiv: 2610.31671v1

主要発見:FlexPartは、まばらな点、境界ボックス、マスクといった異なる粒度の幾何条件を一つのDiffusion Transformer(DiT)に統合し、学習済みモデルで柔軟に部品制御できるようにしたフレームワークです。統合はゲート付き適応モジュレーション(Gated AdaLN)を通じて行われます(Diffusion Transformerは拡散モデルに基づく変換器の構成)。(discovery-1)

手法の要点:入力の点はガウスフーリエ特徴量とMLPで符号化します。ボックスは左右上・左右下の角を別々に符号化し、SAMに触発された角種埋め込みを使います。マスクは小さなCNNで処理し、全体平均プーリングで圧縮表現を得ます。欠損するモダリティは学習可能なヌル埋め込みで置き換え、各モダリティの埋め込みを融合MLPで固定次元の部品条件ベクトルにまとめます(点は最小必須入力)。(method-1, method-5)

条件の注入とアテンション:融合された部品条件はGated AdaLNで各DiT層に注入され、適応的なスケール・シフト・ゲーティングを隠れ状態に適用します。画像特徴はDINOv2からのクロスアテンションで取り込みます。部品ごとを独立サンプルとして扱うパート対応アテンション設計も組み込みます。(method-2)

非対称幾何ガイダンス(Asymmetric Geometric Guidance):学習時に強い空間的手がかり(ボックス/マスク)を用いて、弱い手がかり(点)を教師ありに整合させます。具体的には学生(点)と教師(ボックス/マスク)を共通の視覚空間に投影するVisual Bridgeを用い、教師側にはstop-gradientを適用します。類似度に基づく部分的最適輸送(partial optimal transport)を学習可能なダストビンスコアとSinkhorn最適化で計算し、曖昧な対応を解決します。(discovery-2, method-3)

学習と推論:学習はTripoSGの重みと3D VAEで初期化する二段階戦略を採用します。Stage1は1–8部品、512トークン/部品で高いマスク/ボックスドロップ率。Stage2は2–16部品、1024トークン/部品で異なるドロップ率に設定します。学習はObjaverseとPartVerseXL由来の複合データセットで行い、8台のNVIDIA H20 GPU、バッチ256で訓練しました。推論時は点を必須入力とし、ボックスやマスクなどの高次手がかりを階層的に追加できます(再学習不要)。(method-4, method-5)

主要な定量結果:PartVerseXLのマスク条件評価で、FlexPartはPart Chamfer Distance(Part CD、点集合の幾何誤差を測る指標)を0.2938と達成しました。これはTripoSG + SAM3Dの0.3523に対し16.6%の低下、OmniPartの0.3283に対し10.5%の低下を示します。また全体メッシュの平均Chamfer Distanceは0.1418で、OmniPartの0.1547より良好でした。これらはマスク条件下の比較です。(discovery-3, comparison-1, comparison-2)

マルチ粒度の相乗効果:点のみの推論精度は、ジョイント学習により改善しました。具体的にはPoint-only評価でIoU Vが7.9%向上し、CDが6.1%改善しました。マスク条件では、マスク単独での学習時のPart CD 0.3224がPoint+Box+Maskの統合学習で0.2938に低下しました。これは密な注釈がまばらな入力学習を導く効果を示します。(comparison-3)

ガイダンスの効果(アブレーション):学習時に導入した非対称幾何ガイダンスの補助整列損失を付加すると、まばらな点条件でPartレベルのCDは0.3406から0.3334に低下し、IoU Vは0.1811→0.1902、IoU Bは0.2323→0.2506と改善しました。マスク条件では小さな向上が観察されました。ガイダンスは学習時のみで、推論オーバーヘッドはありません。(comparison-4)

頑健性と拡張性:2Dボックスの位置・サイズを最大20%摂動するとPart CDは0.3042→0.3171に変化しました。半数の部品にボックス、残りに点を与えるとPart CDは0.3287、半数にマスク・残りにボックスを混合すると0.3190でした。これらの組合せの一部は学習時に見られなかったにもかかわらず生成が可能でした。3Dボックス条件で再学習した派生モデルは、PartObjaverse-TinyでWhole-mesh Mean CD 0.1385、Part CD 0.2356を達成し、FullPart(Whole-mesh Mean CD 0.1625、Part CD 0.2488)より多くの指標で良好でした。(comparison-6, comparison-5)

意義と限定事項:FlexPartは単一モデルで異なる粒度の幾何条件を直接扱い、点を最小入力として柔軟に制御できる点が重要です。局所的な部品精度の向上は全体メッシュ精度の改善にもつながっています。一方で限界もあります。単一視点の2D条件は深度手がかりが限られるため、遮蔽(Occlusion)処理は依然として難しく、隠れた部品を誤配置する可能性があります。また、本論文の部品評価プロトコルはCDベースのハンガリアン対応で一致したペアのみを評価し、未対応の真実や生成部品には追加ペナルティを課していません。したがって、報告された部品レベル指標は未対応エラーや完全性の罰則を反映していないことに留意してください。(limitation-1, limitation-2)

結論的評価:FlexPartは、ゲート付き適応モジュレーションと非対称幾何ガイダンスを組み合わせることで、可変粒度の幾何条件を一つのDiTモデル内で扱えることを示しました。数値実験はマスク条件や混合条件での部品精度向上と推論時の柔軟性を支持しますが、単一視点に由来する遮蔽や評価手法の制約が結果解釈に影響する点は明示されています。

元論文

A Unified Framework for Image-to-3D Part Generation via Variable Granularity

コンピュータビジョン
arXiv で見る