すべての人に一次情報を
研究者らは、事前学習済みのニューラルネットワークを使って画像属性を変更する2つの手法を比較しました。
従来の方法では、ノイズ画像を用いて「裏側状態」を復元し、その状態を編集したあと再構築するステップに依存していました。対照的に、今回提案した逆転なしパイプラインは、画像を直接運搬します。具体的には、属性値から生成されるオフセットをバックボーンで読める形に変換し、流れモデルが生成する速度場の差分を積分して画像を変化させます。この過程では、潜在状態を復元する操作や内部最適化は不要です。

結果は、CelebA データセットで確認されました。SD3‑inv と FlowEdit(逆転あり)のF1スコアは、4つの属性のうち3つで高く、効果はより大きい一方、LPIPS スコアは高いままです。LPIPS は画像間の知覚的距離を示す指標であり、値が低いほど本人性が保たれていることを意味します。逆転なしの FlowEdit は、同じ4属性すべてで LPIPS が 0.055 から 0.049 の範囲に収まり、逆転あり手法よりも顕著に低い値を示しました。これは、逆転段階で生じる離散化誤差が長期的に蓄積し、画像の原型から遠ざかるためと考えられます。
| Effectiveness F1 ↑ | Realism FID ↓ | Identity LPIPS ↓ | |||||||||||
| Method | Backbone | a | g | br | bl | a | g | br | bl | a | g | br | bl |
| Explicit inversion — encoder; DDIM for Causal-Adapter, flow-ODE for SD3-inv | |||||||||||||
| VAE | deep-SCM | 0.390 | 0.990 | 0.284 | 0.004 | 60.0 | 63.4 | 59.9 | 57.4 | 0.283 | 0.295 | 0.283 | 0.284† |
| HVAE | deep-SCM | 0.246 | 0.742 | 0.476 | 0.122 | 2.2 | 5.9 | 25.6 | 31.7 | 0.026† | 0.076 | 0.138 | 0.229† |
| GAN | deep-SCM | 0.471 | 0.989 | 0.273 | 0.340 | 22.1 | 26.6 | 23.0 | 24.3 | 0.256 | 0.363 | 0.262 | 0.285 |
| Causal-Adapter | SD1.5 + adapter | 0.530 | 0.997 | 0.424 | 0.497 | 8.2 | 9.0 | 8.0 | 17.7 | 0.166 | 0.246 | 0.119 | 0.240 |
| SD3-inv | SD3 (2B, frozen) | 0.856 | 0.937 | 0.522 | 0.405 | 33.1 | 47.0 | 33.1 | 37.4 | 0.369 | 0.464 | 0.351 | 0.397 |
| Inversion Free | |||||||||||||
| FlowEdit | SD3 (2B, frozen) | 0.866 | 0.927 | 0.215 | 0.039 | 10.8 | 9.6 | 3.9 | 3.5 | 0.078 | 0.124 | 0.055 | 0.049† |
逆転なしパイプラインは、潜在状態を再構築しないために誤差の蓄積源を排除し、画像が訓練マニフォールド上に留まることを保証します。今後は医療画像など、鑑賞者の本人性が重要な領域での応用が期待されます。