要旨 最近の研究で、巨大言語モデル（LLM）を使ってテキストに数値スコアを付ける手法が社会科学で広がっています。しかし、研究ごとに用いる評価尺度（たとえば連続値かリッカート式か、何点刻みか、負値を含むかどうか）がばらばらである点が問題視されてきました。UC Davis と UC Santa Barbara などの研究チーム（Wonjeong Joら）は、本論文（arXiv:2610.22187v1）で「尺度感度（scale sensitivity）」という概念を定義し、尺度設計の違いがLLM出力にどの程度影響するかを系統的に調べています。実験は慎重に設計され、読みやすく比較できる形で結果を示しています。 主な実験の枠組み 研究者らは尺度の3つの設計要素を横断的に検討しました： - 形式：連続（任意の実数）か序数（整数）か - 範囲（ポイント数）：3点、5点、11点、21点 - 符号：符号付き（中心が0）か符号なし（非負）か これらの組み合わせ（計16条件）を、3種類のタスク（政治的立場、感情（センチメント）、毒性）と2種類のプロンプト戦略（ゼロショットとルーブリックベース）および5つのLLMで評価しました。尺度の比較は「最小対（minimal pairs）」と呼ばれる、1項目だけが違う条件同士の差を取る方法で行い、他の要因が影響しないようにしています。 何を測ったか（数値的と解釈的感度） - 数値的感度（numerical sensitivity）：同じテキストが尺度の変更で正規化後のスコアでどれだけ動くか（平均絶対差）。 - 意味的感度（semantic sensitivity）：スコアが「低／中／高」のような解釈上のカテゴリーに入るかどうかが変わる割合。 主な結果（端的に） - 尺度の設計要素を1つ変えるだけで、正規化スコアは平均で約0.10動く（正規化後の0〜1の基準で）。 - 同じ変更が評価のカテゴリ（低／中／高）を入れ替える割合は約20%に達した。 - タスク別では、毒性（toxicity）が最も感度が高く、特に尺度の「符号（signed vs unsigned）」に敏感だった。毒性は「存在しない〜強い」という一方向（unipolar）の構成であり、符号付き尺度の扱いが解釈に影響を与えやすいことが示唆される。 - ルーブリックを与えるプロンプト（詳細な採点基準を示す）は、ゼロショット（単純に評価だけを求める）に比べて尺度感度を減らす効果は見られなかった。 - モデル間の違い（5モデルを比較）は感度に影響するものの、タスクや尺度設計ほど大きくはなかった。 付随的な解析では、尺度設計（どの要素を変えたか）が数値的感度の分散の約40%を説明する一方、意味的感度（カテゴリー変化）についてはタスク自体がより大きな説明力（約59%）を持つことが示されています。つまり、どの尺度を使うかは数値がどれくらい変わるかに強く影響し、どのタスクか（たとえば毒性か感情か）によってその解釈上の影響の度合いが変わる、ということです。 何を意味するか（示唆と実務的助言） - 尺度は「測定上の選択」であり、無意識に変えると結果解釈に影響を与える。論文の数値は決して小さくない（平均0.10、約5件に1件でカテゴリが変わる）ため、研究や実務でLLMを用いる際は尺度設計を慎重に扱う必要があります。 - 実務的な推奨として研究者らは、少なくとも1つの代替尺度で主結果のロバストネス（頑健性）をチェックすること、測ろうとする構成概念に合わせた尺度を選ぶこと（例：毒性のような一方向の概念には非負の尺度を使うなど）、可能ならば人手ラベルと照合して妥当性の証拠を示すことを挙げています。 限界と今後の課題 著者ら自身も慎重に限界を述べています。主な点は以下の通りです： - 検討したタスクとデータは英語を中心とする限られたセットであり、一般化の前にはより多様な言語・文化・タスクでの検証が必要。 - プロンプト戦略としてはゼロショットとルーブリックのみを比較しており、few-shot、chain-of-thought（CoT）やchain-of-verification（CoVe）のような手法は今回の検証対象外。これらは追加要素（例：例示の選び方や中間思考の形式）を導入し得るため慎重な別研究が必要。 - モデルの内部表現や訓練データの違いがどのように尺度感度に結びつくかのメカニズムは未解明で、今後の基礎的研究が望まれる。 まとめ この研究は、「同じテキストでも尺度の設計を変えるとLLMの評価が実用的に変わる」ことを示す実証的エビデンスを提供します。数字は必ずしも圧倒的に大きいわけではありませんが、再現性や比較可能性を意識する場面では無視できない程度の差です。LLMを用いた研究や運用で重要な結論を出す場合は、尺度選択の合理性とロバストネス検査を明示的に行うことが推奨されます。 参考情報 - 論文：Wonjeong Jo, Gyuwan Kim, Ming Shan Hee ほか “Change the Number, Change the Answer: Assessing Rating Scale Sensitivity in LLM-Based Text Scoring” (arXiv:2610.22187v1, 2026)。