モバイルデバイスで動作する画像生成モデルと編集モデルを評価するために、MoI‑Benchというベンチマークが発表された。 MoI‑Benchは、16種類の操作（削除・置換など）と8つの視覚対象（ポートレートやテキストなど）に沿って64のサブタスクと1,150のサンプルから構成される。

評価にはMoI‑Evalという手法が使用される。各サンプルは、指示に従うか、ビジュアル品質がどうか、詳細が保持されているかという3つの基準でチェックされ、得点は操作・対象・基準軸に沿って総合品質と能力プロファイルの2軸に集約される。

さらに、これらの得点を用いて「品質―デプロイ性」マップを作成し、モバイル上での実行コストと性能を同時に視覚化できる。実際に代表的なオンデバイスモデルとサーバーサイドモデルを比較した結果、オンデバイスモデルは一部のタスクで効率的に稼働できるものの、カバーできるタスクの幅がサーバーサイドに比べて限定的であることが判明した。

結果から、デバイスリソースの最適化よりも、タスク範囲の拡大と編集品質（特に人物情報の保持とテキスト描写の正確性）の向上が優先すべき課題であると示唆された。特に「テキスト置換」のような具体的な機能ギャップに焦点を当て、総合的なテキスト編集品質を高めるよりも、まずはこうしたギャップを埋めることが重要と結論付けられた。