主な発見 エージェント型の検索（agentic search）では、リトリーバー、コーパス、採点器が決定的（同じ入力で再現可能）なため、エピソードは方策の決定とサンプリングノイズで決まる関数になります（＝事実世界）。この性質を利用し、「同じノイズ、異なる決定」の双子世界（twin world）を作れば、下流の“運”を共有して決定の影響だけを分離して評価できます（“双子”は実現可能）。 (D1, D2)

手法の要点 提案手法はTWICE（TWIn-world Credit Estimation）です。各トークンのサンプリングに入るGumbelノイズ（サンプリング時の乱数）を「エピソード、ターン、行、位置」の鍵で決定します。これにより、事実エピソードと同じ下流ノイズを継承する反事実（ツイン）を正確に展開できます。ツインとの結果差（事実の効用 U とツインの効用 U' の差）をターン単位のアドバンテージとして計算し、PPO/GRPO系の更新に使います。学習後はアクターだけをデプロイします。 (M1, M2)

補助ロールアウトの配分は、確率が（予測されるdiscordance ÷ コスト）の平方根に比例する形で行います。さらに確率はクリッピングされ、逆確率での再重み付けを施して推定量の不偏性を保ちます（Prop.4、Eq.(2)参照）。これにより、コストの低い後半の決定や結果が混在するプロンプトに多くのツイン予算を割きます。推定量は不偏です。 (M3)

具体的な実験設定 訓練データはNQとHotpotQAの学習集合の和です。検索にはE5を用い、2018年ウィキペディアダンプから上位3パッセージを取得します。1エピソードあたりの検索呼び出しは最大4回まで許容し、報酬はexact match（完全一致）を用いました。評価はNQ、TriviaQA、PopQA、HotpotQA、2WikiMultiHopQA、MuSiQue、Bamboogleの7ベンチマークで行いました。 (C1)

主要な結果 7つのQAベンチマークで、TWICEはGRPOの平均 exact match をQwen2.5-3Bで5.3ポイント、Qwen2.5-7Bで4.5ポイント改善しました。ツリー探索法や従来の反事実ブランチングのベースラインより優れました。 (C3)

決定クレジットの品質監査（Qwen2.5-3B、1,036訪問決定）では、TWICEは「符号が誤っている」クレジットを6.9%に削減しました。これは独立反事実（CRR）の21.7%などより低い値です。TWICEはオラクル推定（各決定128ロールアウト）とのピアソン相関で0.72を記録しました。1ステップ当たりの時間は152秒で、VinePPOの262秒より短く、補助トークンは68%少なく済みました。 (C4)

意義 下流の“運”を共有することで、ツインの結果差は個々の決定の影響をより純粋に反映します。これにより、従来の独立ノイズを用いた反事実ブランチより分散が小さくなり、誤った信号（符号反転）が減ります。理論的には不偏性が保たれ、サンプル効率の利点も示されています。 (D1, D2, M2)

限定事項と注意点 TWICEは継続を同じノイズで再現できる「再現可能な（リプレイ可能な）ツール」を必要とします。固定コーパス検索、サンドボックス化したコード、シミュレータは適合しますが、ライブのウェブ検索や状態を持つAPIはキャッシュが必要です。キャッシュがない場合、結合（coupling）は弱くなりますが、クレジット推定の不偏性は保たれます。 (L1)