概要：PerSoは、実際の説得対話を用い、同一データ上で大規模言語モデル（LLM）の行動的および認知的な社会的知性を評価するベンチマークです。行動タスクはどの応答が説得に成功したかを選ぶ能力を、認知タスクは説得後の被説得者の信念・感情・意図を予測する能力をそれぞれ測定します。デルタ（∆）はRedditでOPが視点が変わったと認めたことを示す指標です。保存された数値や比較条件、評価の不確実性はそのまま報告します。

データとタスク設計：データはRedditのChangeMyView（CMV）スレッドから構築され、各インスタンスはOPの初回投稿と二つの説得者応答を対にします。片方の応答にはOPが後にデルタを与え（説得成功）、もう片方には与えられません。説得成功と判定する応答には、未成功応答より高いアップボート得点があることを追加条件とし、コミュニティの合意を反映させています。認知評価ではOPのその後の返信が金ラベル作成に用いられますが、モデルへの入力では隠されます。認知タスク用に両枝のOP返信は100トークン以上が要求されました。フィルタ後に872件が得られ、そこからランダムに200件を最終評価セットとして抽出しています。成功した説得者応答の平均アップボートは50.5点、未成功は6.6点、平均スコア差は43.9点でした。認知タスクは各次元で400問、計1,200件の4択問題として用意されています。

評価手順：認知の4択選択肢はLLMイン・ザ・ループ（Gemini 2.5 Pro）で生成し、手動アノテーションで検証しました。行動タスクではモデルにOP投稿と二つの候補応答を与え、各応答を1（説得力なし）〜4（非常に説得的）の4段階で評価させ、高い方をモデルの選択とします。評価指標は両タスクとも正答率です。モデル群は複数のファミリーとスケールを含み、Qwenでは推論モード（“thinking”）の有無も比較されています。確定的出力のため温度を0、top-kを1に設定しています。

検証と信頼性：生成した選択肢の品質検証として、三名のコンピュータサイエンス系アノテータがランダム10%（40インスタンス）をレビューしました。検証時にはアノテータがOPのその後の返信を参照でき、認知の正答選択に関する平均ペアワイズCohen’s κは信念0.911、感情0.623、意図0.709と報告されています。ただし人間参照は3名に限られるため、人間とモデルの比較の統計的確実性は制約されます。

主要結果（行動）：行動タスクでは、Qwen-3.5-397B（“thinking”無効設定）が最も高い正答率の76%を示しました。観測された人間参加者の最高スコアは75%で、この差は1ポイントでした。閉鎖系の上位例としてSonnet-4.6は71.5%、Gemini-2.5-Proは71.0%を報告しています。本研究では、十分に大きなオープンソースモデルが行動的判断で閉鎖系を上回る観察がなされました。

主要結果（認知）：認知タスクでは感情の予測が一貫して最も難しい次元でした。四択の偶然当たりは25%ですが、いくつかのモデルは感情でほぼまたは下回る得点を示しています。信念や意図は比較的扱いやすい傾向があり、最上位のモデルでも、報告された人間の最良参加者との差は小さいものの残存しました（信念で約2ポイント、感情で約6ポイント、意図で約4.5ポイントの差）。つまり、本評価で観測された人間参加者は認知面で上位に位置します。

モデル規模と推論モードの影響：多くのモデルファミリーでモデルサイズの増加と性能向上の相関が観察されましたが、これは普遍的ではなく、DeepSeekなど一部のファミリーでは同じ傾向が示されませんでした。Qwenの“thinking”モードは次元やサイズによって効果が異なり、感情推定では一部のサイズ（35Bと397B）で改善が見られた一方、信念予測では全サイズで低下するなど混在した影響が報告されています。