〈この研究のポイント〉

• これまで未解明であった社会的選好と学習様式との関係性について、2段選択状態遷移課題を用いてアプローチしました。
• 課題構造の学習において、利己的な人はよりモデルベースに依存し、反対に、利他的な人はよりモデルフリーに依存することを明らかにしました。 なお、おかれた環境をイメージしながら熟慮的に学習を行うのがモデルベース、過去に構築した刺激-反応関係を自動的に適用するのがモデルフリーです。
• 本研究の結果は、社会的2重プロセス理論における近年の「学習アプローチ」に経験的なサポートを与え、社会的意思決定のメカニズムの解明に重要な示唆を与えるものです。

研究の背景

人間はすぐれて社会的な動物であり、他個体との競争や協力を通じて、日常のさまざまな場面で社会的な意思決定を行っています。こうした社会的な意思決定において、他者の利得を考慮せずに自己利益を追求する傾向を「利己性」と呼び、自分だけが得するのを避けて他者の利得を尊重する傾向を「利他性」と呼びます。こうした利己的傾向や利他的傾向のような社会的選好は、社会心理学において「社会的価値志向性（Social Value Orientation; SVO）」として定義され、それを分類したり計測したりしようとする心理テストが複数考案されてきました。
他方で、動物実験も含むより一般的な意思決定に関する研究では、動物の脳には少なくとも2つの異なる学習様式が備わっているという提案がなされ、数多くの研究によって支持されています。一方は「モデルフリー学習」であり、これは、条件づけのように、刺激や反応にともなって報酬が生じると、その強さや確率に応じて刺激や反応と報酬とを直接的に結びつける学習過程です。モデルフリー学習の実現には脳の深くにある大脳基底核や中脳ドーパミン領域が重要な役割を果たしていると考えられています。もう一方は「モデルベース学習」であり、これは、刺激や反応とその結果として起こる報酬との間に「内部モデル」を介在させる学習過程です。内部モデルとは、たとえば環境の脳内地図のようなもので、刺激や反応の間の連続的なつながり（＝状態遷移）を学習することで形成されます。モデルベース学習の実現には特にヒトで大きく発達した前頭前野が重要な役割を果たすと考えられています。
社会的意思決定における利己性/利他性という選好と、一般的な意思決定におけるモデルベース/モデルフリーという学習様式はどのように関係しているのでしょうか？　社会的意思決定のメカニズムに関する有力な見方の一つに「社会的2重プロセス理論」があります。この理論によれば、私たちの社会的意思決定は、並行して働く二つのプロセス（いわゆる「システム1」と「システム2」）によって行われているとされます。システム1は直観的・自動的・感情的といった特徴をもち、システム2は熟慮的・統制的・認知的といった特徴をもちます。近年、この社会的2重プロセス理論を「学習」の観点から見直す動きが広まっています。この新たな展開によれば、2重プロセスのもつ対照的な特徴は、モデルフリー/モデルベースという一般的な学習メカニズムに由来するとされます（直観的システムがモデルフリー、熟慮的システムがモデルベース）。この学習を重視するアプローチからは、上述の問いに対して、利他的傾向や利己的傾向といった社会的選好の個人差は、モデルフリー/モデルベース学習への依存度の個人差に基づくという仮説が導かれます（図1）。学習アプローチはいまだ理論的な提案に留まっているため、この仮説を実験的に検証することは、学習アプローチに対して経験的なサポートを与えることにもつながります。

実験方法

社会的選好の個人差と学習様式の個人差の間に対応関係があるという仮説を検証するために、実験参加者には、選択結果からモデルフリー学習とモデルベース学習への依存度を推定することのできる確率的状態遷移課題に取り組んでもらいました。さらに、実験参加者の社会的選好の得点（SVOスコア）をスライダー計測法という手法で測定しました（図2a）。スライダー法では、自分と他人がお金を受け取る場面を想定してもらい、その分配パターンに関する選択への回答結果から、利己的傾向や利他的傾向を数値化します。この実験には184名の大学生が参加しました。
私たちが用いた確率的状態遷移課題は、順番に呈示される2つの幾何学図形のそれぞれに対して、左右いずれかのボタンで2段階の選択を行うという課題です（図2b）。たとえば、1番目の図形1に対して左ボタンを押すと、70%の確率で図形2-1に移動し、30%の確率で図形2-2に移動します。2番目の図形に対しても、左右ボタンの選択に応じて、異なる確率で3番目の図形に移動します。3番目の図形は異なる報酬金額（0円、10円、25円）に対応しており、その金額が実験参加者の獲得報酬に加算されます。実験参加者はこの課題を200試行行いました。
この課題は複雑な遷移構造をしていますが、実験参加者は、それぞれの選択にどのような結果がともなうかを試行を重ねて学習し、どの選択肢が大きな報酬期待値を有しているかを推測していきます。モデルベースで学習する人は、それぞれの状態間の遷移確率に関するモデルを構築し、得られた報酬が高い遷移確率の後に来たのか、低い遷移確率の後に来たのかを考慮して学習を行います。モデルフリーで学習する人は、遷移確率を考慮せず、選択と報酬を直接的に結びつけます。ある参加者が課題のある段階でどのくらいモデルベースに依存した行動をしているのかを計算するために、私たちはモデルベースとモデルフリーの強化学習アルゴリズムをある比重で組み合わせたハイブリッドアルゴリズムを用いました。実験参加者のデータを用いてこの比重を推定することで、モデルベース依存度を定量化することができます。

実験結果

特徴的な社会的選好をもつ参加者を分類するために、SVOスコアに基づいて利己群と利他群を抽出し、状態遷移課題に関する両者の解析結果を比較しました。
まず、実験参加者が獲得した報酬額を20試行幅の移動平均で分析しました。特に学習初期段階において、利己群の方が利他群よりも平均獲得報酬が大きいという結果でした（図3a）。
次に、刺激が呈示されてからボタンを押すまでの反応時間について解析を行いました。第2選択での反応時間（RT2）は、課題が進んでいくと高確率（70%）の遷移後は徐々に短く、低確率（30%）の遷移後は逆に徐々に長くなっていく傾向があります。これは、実験参加者が課題の構造を学習し、高確率遷移後に呈示される図形を予期するようになっていくからだと考えられます。RT2を40試行ずつのブロックに分けて分析すると、利己群は1ブロック目から異なる確率を弁別できていたのに対し、利他群は弁別できるまでに時間がかかりました（図3b）。これらの結果は、利己群の方が利他群に比べて課題構造の学習が速く、より迅速に最適な選択肢に行きつくことができたということを示唆しています。
モデルベースとモデルフリーのハイブリッドアルゴリズムを用いて学習パラメータの推定を行ったところ、学習率や探索傾向を表すパラメータには利己群と利他群の間で違いはありませんでしたが、モデルベース依存度については、最初のブロックで利己群の方が利他群に比べて大きいという結果が得られました（図3c）。

以上の結果は、利己群は利他群に比べて課題の学習を必要とする課題初期においてモデルベース依存性が高く、それゆえ、効率的な選択肢を学習するのが速かったということを示唆しています。
これらの結果は、社会的選好の個人差と学習様式の個人差の間に対応関係があるという仮説を支持し、社会的2重プロセス理論の学習アプローチに実験的な検証を与え、社会的意思決定のメカニズムの解明に対して示唆を与えるものです。

研究グループ

• 小口 峰樹　　
  玉川大学脳科学研究所　　　特任准教授
• 李 楊　　　　
  名古屋大学情報学研究科　　特任助教
• 松本 良恵　　
  西南学院大学人間科学部　　実験助手
• 清成 透子　　
  青山学院大学社会情報学部　教授
• 山本 和彦　　
  株式会社コンポン研究所
• 杉浦 繁貴　　
  株式会社コンポン研究所
• 坂上 雅道　　
  玉川大学脳科学研究所　　　教授

掲載論文名

Proselfs depend more on model-based than model-free learning in a non-social probabilistic state-transition task
利己的な人は非社会的な確率的状態遷移課題においてモデルフリー学習よりもモデルベース学習により強く依存する
https://www.nature.com/articles/s41598-023-27609-0
掲載誌：Scientific Reports