すべての人に一次情報を
大型言語モデル(LLM)は、対立するプロンプトを与えても内部に持つ性格傾向が消えないことが確認された。この性格傾向は、モデルがタスクを解く際に顕在化し、応答の不確かさや選択のリスクに影響を与える。
研究では、SPACEベンチマークというフレームワークを用いた。SPACEは、まずモデルの性格を検証し、基礎的な能力を評価するステージと、状況に応じたタスクで性能を比較するステージからなる。基礎評価で得られた結果は、性格に起因する行動の差と単なる能力差を分離するのに役立つ。
状況解釈タスクにおいては、Thinking(思考)フィーチャのモデルが曖昧・不確かな判断を減らし、Feeling(感情)フィーチャのモデルが不確かな判断を増やす傾向が見られた。これは、評価した4つのモデルすべてで一貫して観察された。
個別意思決定タスクでは、Thinkingモデルが低い報酬分散と少ない観測数の選択肢を好む一方、Feelingモデルは高い報酬分散かつ十分な観測を持つ選択を好む傾向が、3つのモデルで顕著にわかった。特にLlama 3.2 3Bでは、Thinkingが84.2 %で少数観測機械を選択し、Feelingは31.3 %だった。
対立する指示プロンプトを与えた場合、基準(Base)と比べて性格傾向が変わらないケースが73.9 %に上り、逆に反転したケースが26.1 %であった。これは、指示が行動のスタイルを変える一方で、根底にある性格効果を覆すわけではないことを示している。
しかし、研究はMBTIのThinking/Feeling次元と選択された状況タスクに限定しているため、性格の全容や他の次元がどのように影響するかは未だわからない。また、指示形式や長さの差が性格効果に与える影響は変動する可能性があると警告されている。
これらの結果は、LLMが単なる指示に従うだけでなく、内部に備わる性格パターンが応答を形成することを示唆している。将来的には、より包括的な性格評価と指示設計の研究が必要である。