すべての人に一次情報を
大規模言語モデル（LLM）は、名前の判定を選択的に行うことが分かりました。実験では、10,000 名の中国語ピンイン名を対象に、Claude Haiku 4.5 が 8.2 % の名前だけにラベルを付け、残りは「Unknown」または拒否しました。この選択的ラベル付けは、Llama 系列や Google 系列を含む他の LLM でも見られました。これは f1 のデータで示されます。
| Majority agreement | Total | Individual | Ceiling on | ||
| Tool | Coverage | [95% CI] | agreement | accuracy | labeled names |
| Genderize.io | 79.3 | 70.4 [69.4, 71.3] |
| 55.8 |
| 64.8 |
| 79.0 |
| gender R package | 3.8 | 56.5 [51.5, 61.6] | 2.1 | 55.7 | 81.0 |
|---|
| Gemini 2.5 Flash | 28.4 | 87.7 [86.4, 88.9] | 24.9 | 78.7 | 84.0 |
|---|
| Claude Haiku 4.5 | 8.2 | 85.1 [82.7, 87.7] | 7.0 | 78.9 | 85.6 |
|---|
| Qwen 2.5 7B (local) | 7.6 | 81.7 [79.0, 84.3] | 6.2 | 75.3 | 84.2 |
|---|
次に、Claude Haiku 4.5、Gemini 2.5 Flash、Qwen 2.5 7B の 3 つの LLM を、WRU、predictrace、ethnicolr、rethnicity、pyethnicity、および 2 つのローカル Qwen バリアントを含む 7 つの従来ツールと比較しました。評価には、10,000 名の中国語ピンイン名前、自己申告の人種を持つ 19,998 名のノースカロライナ州有権者、そして研究者が手動でコードした 300 名の政治学著者の 3 つの独立データセットを使用しました。これは f2 の実験設定に対応します。
有権者データを用いた比較では、各ツールのハードラベル（最頻カテゴリ）推定は、真の黒人有権者比率を 15–25 ポイント低く推定し、民主党への登録における白黒差を 36 %～65 %だけ小さくしました。例えば、Haiku のハードラベルは黒人有権者比率を 9.7 % と示し、真の 25 % を大きく低く推定しました。対照的に、BIRDiE（Bayesian posterior–weighted）推定は、センセスの事前情報とツール出力を組み合わせ、真に近い推定値を得ました。これは f3 の数値を裏付けています。
| Estimator | Bias(π^B) | Bias(Δ^party) | Bias(Δ^age, years) |
|---|---|---|---|
| Hard-label (argmax) estimators | |||
| WRU surname | −0.195 [−0.197, −0.191] | +0.334 [+0.303, +0.363] | −3.07 [−4.36, −1.87] |
| WRU +county | −0.031 [−0.036, −0.025] | +0.298 [+0.276, +0.317] | −2.62 [−3.45, −1.86] |
| WRU +tract | −0.023 [−0.028, −0.018] | +0.240 [+0.222, +0.259] | −2.69 [−3.46, −1.97] |
| pyethnicity | −0.028 [−0.032, −0.024] | +0.257 [+0.240, +0.275] | −0.52 [−1.29, +0.29] |
| Claude Haiku 4.5 | −0.153 [−0.158, −0.148] | +0.191 [+0.154, +0.222] | +6.04 [+4.67, +7.44] |
| Gemini 2.5 Flash | −0.089 [−0.093, −0.085] | +0.271 [+0.251, +0.290] | +1.42 [+0.58, +2.29] |
| Qwen 2.5 7B (local) | −0.046 [−0.051, −0.041] | +0.344 [+0.322, +0.363] | +0.53 [−0.35, +1.52] |
| Hybrid Haiku→pyeth. | −0.038 [−0.042, −0.034] | +0.262 [+0.245, +0.280] | −0.11 [−0.88, +0.72] |
| Posterior-weighting estimators | |||
| WRU surname | −0.099 [−0.101, −0.097] | +0.426 [+0.410, +0.440] | −3.82 [−4.51, −3.07] |
| WRU +county | −0.030 [−0.033, −0.027] | +0.367 [+0.351, +0.381] | −3.43 [−4.10, −2.73] |
| BISG tract chain | −0.025 [−0.028, −0.022] | +0.307 [+0.293, +0.320] | −3.32 [−3.97, −2.67] |
| pyethnicity | −0.003 [−0.006, −0.001] | +0.323 [+0.308, +0.337] | −1.03 [−1.68, −0.34] |
| Mixed LLM + posterior pipelines | |||
| Haiku + pyeth. posterior | −0.019 [−0.022, −0.016] | +0.316 [+0.301, +0.330] | −0.47 [−1.15, +0.23] |
| Haiku + BISG posterior | −0.037 [−0.040, −0.034] | +0.283 [+0.267, +0.297] | −1.38 [−2.02, −0.73] |
| BIRDiE estimators | |||
| BIRDiE, WRU surname | −0.096 [−0.098, −0.094] | −0.029 [−0.069, +0.007] | +1.23 [−1.70, +3.47] |
| BIRDiE, WRU +county | −0.027 [−0.030, −0.024] | −0.012 [−0.041, +0.013] | +0.60 [−0.90, +1.95] |
| BIRDiE, BISG tract chain | −0.022 [−0.025, −0.019] | −0.020 [−0.042, +0.001] | −0.53 [−1.63, +0.51] |
| Reference | |||
| Oracle (true labels) | 0 (by construction) | 0 (by construction) | 0 (by construction) |
さらに、LLM の拒否や「Unknown」出力は情報的欠損（informative missingness）として生じやすく、年齢に依存する傾向が観測されました。結果として、白人と黒人の年齢差は約 6 歳に膨らみ、単一の混同行列で修正できないバイアスが生じました。これは f4 の報告と一致します。
要するに、LLM の選択的ラベル付けは人口統計推計を歪めるリスクがあり、Bayesian 重み付けは部分的に修正できるものの完全な解決策には至らないという結論が得られます。