本研究では、まず攻撃的な語句を含むプロンプトからテンプレートを抽出し、空白に置き換えた後に翻訳を行い、翻訳されたテンプレートに有害・良性の文化的に適切とされる判断基準は、譲歩長さが30語以内であることと、翻訳文と元文の構文構造が保持されることが判定基準として文献で明示されているエンティティを埋め込むことでデータを生成します。このパイプラインを通じて、60言語で有害、良性、文化的にローカライズされたプロンプトを大量に作成できました。

評価の結果、英語だけで行ったテストでは失敗した攻撃が、翻訳後は成功するケースが多く見られました。また、文化的にローカライズされたプロンプトでは、単純な翻訳だけでは明らかにできないさらなる失敗が検出されました。

ただし、判定は自動的に大規模言語モデルを用いて行われており、バイアスが存在する可能性があります。この点については今後の人間による評価で検証が必要です。