Multimodal-SEAは、個人的AIエージェントが多モーダル（テキスト・画像・ドキュメント・Webページ）を伴う社会工学攻撃にどれだけ耐えられるかを測る公開インタラクティブベンチマークです。608件の専門家設計タスクを用いて、14領域・152攻撃シナリオ・4難易度レベルにわたり、中国語と英語の環境で評価します。

ベンチマークは、タスク情報、攻撃進行制御、多モーダルコンテンツ構築を統合した攻撃ハンドラを採用し、シミュレート環境内でのリアルタイム・レッドチーピングを可能にします。モデルは、コンテンツを検証し、リクエストを確認し、ツール実行ログに基づいてアクションを実行します。

7つの広く使用される多モーダルモデルを評価した結果、全モデルが侵害可能であり、攻撃成功率は7.1％～34.5％でした。多モーダルコンテンツを追加すると、攻撃成功率は19.9％から29.2％へ上昇し、プロアクティブな検証カバレッジは54.7％から65.1％へと増加するものの、検証だけで欺瞞を防げないことが示されました。

さらに、安全指示を強化した場合、攻撃成功率はGPT‑5.6‑Sol‑SPで34.8％から10.8％へ低下しましたが、同時に多モーダル欺瞞ミス率は50.4％から63.5％へ上昇しました。

一部モデルは合法リクエストへの拒否率が高く、Claude Opus 5は32.1％、MiniMax‑M3は51.2％の拒否を示しました。

以上の結果は、現在の多モーダルエージェントが高度な多モーダル社会工学攻撃に対して依然として脆弱であることを示し、拒否と欺瞞検知のバランスを取る安全メカニズムの重要性を浮き彫りにしています。