すべての人に一次情報を
主な発見: 7つのモデル設定は、注釈で指定された更新の方向へ平均的に動きました。移動の大きさ(方向付けされた移動 s)は約17.6〜28.3パーセンテージポイントでした。
方法の要点: 解析はδ‑SNLIの240組の前提–仮説ペアを用いました。各ペアに対して1つの“強める”更新と1つの“弱める”更新を取り、確率を収集しました。ローカルで実行したモデルが2種(各240ペア)、コマンドラインのエージェント経由で呼んだ設定が5種(各120ペア)ありました。
提示と質問形式: 提示は2種類です。"Here is something else you learned: U"(stated)と"Someone said that U"(reported)。 応答の取り方は2種類です。直接の単一確率(例:Probability: NN%)と、5つの見積りと重みを与える多重推定(重みの和は1、集約は加重平均)です。
主要な計量: 方向付けされた移動 s は事後−事前を注釈方向で符号付けして平均した値です。エンドポイント率は報告値が≤5%または≥95%である割合です。
具体的な結果(例): 直接の(stated)単一確率での主要な3設定では、方向付けされた移動は次の通りでした。Qwen3 およそ18.6ポイント、OLMo‑2 およそ20.0ポイント、codex およそ25.3ポイント。
提示文を"Someone said"に変えると、すべての設定で平均的な方向移動は小さくなりました。減少は点推定で概ね0.9〜5.4ポイントの範囲です。さらに、逆方向への移動(反転率)は各設定で増えました。例えば Qwen3 で約2.0ポイント、OLMo‑2 で約4.8ポイント、codex で約5.4ポイントの差が観察されました。効果は一貫していますが大きくはありません。
多重推定の効果: 5つの重み付き見積りを求めると、すべての設定でエンドポイント(≤5%または≥95%)の報告割合が下がりました。例として、事前重み付け(事前1/2、強め1/4、弱め1/4)で見ると、エンドポイント率は Qwen3 で約29.6%→4.3%、OLMo‑2 で約42.0%→4.9%、codex で約25.2%→14.4% に低下しました。
ただし、多重推定は感度に一様には影響しません。ローカルで動かした2モデルでは方向移動 s がそれぞれ約43%と68%も減少しました。一方で、エージェント経由の設定では点推定の変化はおおむね −3.7〜+0.5ポイントの範囲でした。したがって、極端値を減らす形式が必ずしも証拠への感度(方向移動の大きさ)を保つとは限りません。
手続きと推論上の注意: 仮説、最小効果量(SESOI:確率移動で5ポイント、エンドポイント率差で10ポイント)、欠損データ処理、解析法は事前に固定されました。推論ではクラスターブートストラップ(再標本化 B=5,000)とホルム補正を用いています。
制約と留意点: δ‑NLIの注釈は「方向」だけを示します。したがって、どれだけ大きく更新すべきかについての正解や人間の基準は示されていません。エージェントハーネス経由で呼んだ設定(例:codex や拡張実験の複数モデル)では、システムプロンプトやサンプリングパラメータ、シードを固定できませんでした。したがって、それらの結論は「ハーネス内のモデル」に関するものと記載されています。
素材の事前チェックでは、保護属性(人種・宗教など)を含むペアをモデルベースのスクリーニングで除外しました。パースと前処理のルールは開発段階の診断後に修正され、パース失敗は事前ルールに従って再サンプルや欠損扱いとなり、設定間でパース率の差がありました。
まとめ: 複数のモデル設定で注釈方向への感度は一貫して観察されました。表示の言い回し(「言われた」形式)や回答形式(多重推定)は、更新の大きさと極端値の出現率に影響を与えます。ただし、注釈が方向のみである点やハーネス依存の実行といった限定を踏まえて解釈する必要があります。