すべての人に一次情報を
コンピュータビジョン日本語公開済み
LucidLyraが単一画像から3Dシーンをセマンティクスとインスタンス情報を含むクエリ可能なデータ構造に変換
arXiv: 2610.40495v1
LucidLyraは、生成的に再構築された3Dシーンを、単一画像から直接セマンティクスとインスタンス情報を取得できるクエリ可能なフォーマットに変換するフレームワークです。
本手法は、カメラ制御型ビデオ拡散モデルが生成する多視点潜在コードを、凍結済みの2Dビジョン基盤モデルで構築したセマンティクスおよびインスタンスサポートと統合し、共有される3Dガウス表現を推定します。これにより、再構築、オープンバケッツ分類、オブジェクトグルーピングが重ねて行えるようになります。
実験では、合成（SDG)と実画像(ADE20K)条件付きベンチマークで、LucidLyraはすべての2段階ベースライン（再構築＋セグメンテーション）を上回り、合成データで64.1％、実画像で49.8％のsemantic mIoUを達成しました。インスタンスのmTrackPRはそれぞれ21.5％、18.5％で、オリジナルの再構築品質（PSNR、LPIPS）も維持しています。