大規模言語モデル（LLM）が、機械学習の説明を一般向けのストーリーへ変換する際に社会的バイアスを再現する可能性があることが判明した。本研究では、こうした説明（XAINs）の公平性を扱う新領域『fairness in XAINs』を提唱した。

研究者らは、保護属性（例：性別）が明示される場合、隠される場合、または反事実的に別のグループに差し替えられる場合という3つの条件下で説明を生成し、5つの統計比較で差異の原因を追跡できるフレームワークを構築した。

本フレームワークを、クレジット審査・人材採用・学生成績・法科大学院入試という4つのハイリスクデータセットに適用し、各データセットから100件ずつ、悪評判に分類されたインスタンスを選び、5つのLLMで説明を生成した。

生成された説明の信憑性は、SHAPのトップ3特徴量に対する値・符号・順位の正確さで測定した。価値正確性（VA）、符号正確性（SA）、順位正確性（RA）という3指標を用いた。

特徴量の網羅性は、トップ3特徴の言及率、保護属性の言及率、二次特徴の言及率の3つで評価した。

テキストの感情は、Bing Liuオピニオンレキシコンを使い-1から+1までのスコアで算出した。

ただし、本解析は1つのプロンプトテンプレート、温度T=0、英語のみという限定条件下で実施されたため、他のプロンプトや温度、多言語での結論には注意が必要である。

また、保護属性は二項分割（例：白人 vs 非白人、年齢閾値）でしか扱わず、交差的なグループは検討していない。

説明内容の抽出は1つの補助LLMで行い、100件の手作業検証で94件が正確であったが、残り6件で誤りが見られたことから、抽出ミスが評価に影響を与えるリスクがある。

さらに、アプリケーション者のプロフィールを外部LLMに送信する現行パイプラインはGDPR等のデータ保護規制に抵触する恐れがある。自社ホスティングも検討すべきである。