arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

LLMで模擬した有権者は個別精度は高いが、集団ごとの誤表現は10ポイント超に達することがある | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
cs.CY日本語公開済み

LLMで模擬した有権者は個別精度は高いが、集団ごとの誤表現は10ポイント超に達することがある

2026年10月27日arXiv: 2610.32780v1

主な発見:大規模言語モデル(LLM)で個々の有権者の投票を模擬すると、個別の一致率は高い一方で、集団レベルでは10ポイントを超える誤表現(報告された得票率との差)が生じることがあります(個別精度は約85%)。(出典参照)

評価には米国のANES(2012、2016、2020)を用い、二者択一の大統領投票を報告しプロファイルが完全な回答者をそれぞれ n = 3,793、1,978、5,141 として含めました(第三政党支持者や無回答者は除外)。プロファイルには人種・民族、性別、年齢、学歴、イデオロギー、政治関心などが含まれ、これらをモデル入力として投票行動を模擬しました。対象サンプル数はそれぞれ n = 3,793、1,978、5,141 です。比較したモデルは、API経由でプロンプト制御するクローズドソースのClaude Sonnet 4.6と、内部活性を読み書きできるオープンウェイトのLlama‑3.1‑8B‑Instructです。評価は「base」「プロンプト制御」「推論分解」「(Llamaでは)活性制御」など複数の制御レベルで行い、繰り返し回数やサンプリング温度(τ = 0.7)も変えました。個別適合性は個別精度(Acc_ind)、集団の誤表現は各群の得票率差ε_r = |θ̂_r − θ_r| として測りました。用いた指標と手法は明示的に集計しました。

具体的結果(全体):ANES 2020 の例では、両モデルとも個別精度が高く(Claude 0.848、Llama 0.858)で、母集団レベルの誤差は小さい一方、特定の集団では大きなずれが残りました。

特定の誤表現例:自己申告でNative American(先住米国民)とする回答者については、ClaudeとLlamaのそれぞれで模擬された民主党支持率が報告値より約13.5ポイント(13.5および13.6ポイント)高く推定されました。なおこの最大誤差は該当群のサンプルが最小(n = 89)であり、推定精度は低い点に注意が必要です。

性別・学歴の増幅:誤表現は人種だけでなく性別と学歴で特に一貫して現れました。Claudeの模擬では男女の差が報告値の約3倍になり、Llamaでも約2.3–3倍となるなど、性別ギャップと学歴ギャップが系統的に誇張されました。性別では、模擬が報告値に比べてギャップを約3倍に広げる傾向が観察されました(論文中の表では、Claudeでは男性の民主党支持率が実際より約8.5–10.6ポイント低く、女性が約3.3–8.6ポイント高く推定されたと示されています)。

属性の除去効果:プロファイルから性別を除くと最大の性別群誤差が22–42%縮小し、学歴を除くと最大の学歴群誤差が最大で約64%縮小しました。逆に自己申告の人種属性を除くと平均群誤差が40%以上増加しました。いずれも個別精度は下がりませんでした。これは、モデルが一部の属性を重視しすぎることが原因と考えられます。

一般的な緩和策の効果:繰り返しクエリ、出力の集約、フェアネス指示、活性レベル制御といった一般的な調整は、誤表現を確実に減らしませんでした。とくに「フェアネス指示」は逆効果になり得ます。例として、Claudeでの最悪の人種別誤差が2012年に0.051から0.140へ、2020年に0.124から0.258へと増大したことが報告されています。確率的集約(各回答者について民主党確率を平均する方法)は理論上の凸性保証を持ち、単一予測器より悪化しない一方、実務では最大で約1.5ポイント程度の小さな変化にとどまり、最悪群誤差を体系的に下げるには至りませんでした。

活性化制御の影響(Llama):内部活性を変更する手法(contrastive activation addition)では、多くの回答者がほとんど一方の候補(この研究では民主党)に寄せられ、母集団レベルの誤差が1.4ポイントから6.6ポイントに上昇しました。性別・学歴の最悪群誤差も悪化し、個別精度はほぼ変わりませんでした。

制約と注意点:最大の人種別誤差は最小群(Native American, n = 89)に由来するため不確実性が大きいこと、どの人種群が誤表現されるかは選挙年やモデルにより変動することが確認されています。これらの結果は、個別一致率が高いことが必ずしも集団の公平性を担保しないことを示します。

元論文

AI Alignment for Digital Democracy: Fairer Voters Representation against LLM Biases

cs.CY人工知能
arXiv で見る