すべての人に一次情報を
研究の主な発見は、ある読者のL1(母語)で学習したバイリンガル言語モデルが、単一言語(英語)モデルよりもL2(英語)読書時間のばらつきを説明できる点です。L1が読者と一致するモデル(matched)が一致しないモデル(mismatched)や単一言語ベースラインを上回りました。優位性は初期の視線指標ではほとんど見られず、後期の指標で集中しました(具体的には go-past time と total fixation duration に強い効果)。この優位は文字体系(スクリプト)重複で変化し、中間程度の習熟者で最も大きく現れました(LexTALEでおよそ65–80%でピークし、90%超では低下)。 (d1, d2, c1, c4, c3)
方法は次の通りです。論文は各L1–英語の組合せでGPT-2風のバイリンガル言語モデルを訓練しました。学習開始時点を変える「Step of Exposure(SoE)」を0、16k、32k、48kの4段階で導入し、全モデルは合計64kステップで訓練しています。各言語から10億(10^9)トークンをサンプリングし、評価用に100万(10^6)トークンを確保しました。テキストは256トークン長のシーケンスに分け、L1とL2をインターリーブして学習させました。単一言語の英語基準モデルは同一のトークナイザーで英語データのみを用いて訓練しています。 (m1, m2)
評価ではMECO L2と呼ばれる眼球運動コーパスを用いました。参加者は同一の12の英語テキストを読み、ワード単位で4種類の読書時間指標が記録されています。指標は(1)first fixation duration(最初の定点の長さ)、(2)gaze duration(その語を初めて離れるまでの合計)、(3)go-past time(初回定着からその語より右に視線が移るまでの総時間、回帰を含む)、(4)total fixation duration(その語に費やした全ての定点時間)です。モデルからは単語のsurprisal(出現確率の負の対数)を算出し、サブワードに分割された語は構成トークンのsurprisalを合算しました。統計解析には混合効果線形モデルを用い、語頻・語長・文中位置などを共変量に入れ、pseudo-R^2差分や尤度比検定で比較しました。 (m3, m4)
具体的な結果要点は次の通りです。まず、first fixation ではバイリンガル surprisal の予測優位はほとんど見られませんでした。対照的に gaze duration、go-past time、total fixation duration の後期指標ではバイリンガルモデルが明確な優位を示し、ネイティブ(En-UK)コントロールはほぼゼロに留まりました。matched モデルは mismatched よりも多くの分散を説明し、後期の指標で有意差とより大きな平均 ∆LL を示しました(first fixation を除く)。 (c1, c2)
文字体系の影響も観察されました。ラテン文字を母語に持つ群では gaze duration の段階ですでにバイリンガル優位が見られました。非ラテン文字群は初期には優位が乏しく、しかし later 指標(go-past や total fixation)では両群とも単一言語基準と同等かそれ以上の性能を示しました。非ラテン群では SoE が大きくなるにつれ go-past time で上昇傾向が見られます。 (c3)
語学習者の習熟度による変調は非線形で、特に go-past time と total fixation duration で顕著でした。バイリンガルの予測優位は LexTALE(語彙テスト)スコアに対して逆U字を描き、中間レベルの学習者(約65–80%)で最大となり、最も上級の学習者(>90%)では低下しました。LexTALE による結果は、複数試験の主成分分析から作った複合指標でも再現されました。 (c4)
意義と注意点。これらの結果は、バイリンガル言語モデルが人間のL1起源の予測バイアスを捉え得ることを示します。特に文脈的統合や構文的再解析が関わる後期処理で、人間のL2読書行動との対応が強く現れました。とはいえ制約も明確です。評価は英語をターゲットとした単一コーパス(MECO)に限られます。したがって、他の目標言語や別コーパスへの一般化は未検証です。MECOの一部サブセットは地域変種(例:ブラジルポルトガル語)で収集されており、モデルの事前学習は標準コーパスに基づくため方言差によるノイズが混入し得ます。文字体系は解析した構造的類似性の一側面にすぎず、語順や形態論的類似性など他の要因は独立に検討されていません。習熟度の主要指標はLexTALEという語彙的測定であり、上位の読解力や構文意識をどの程度反映するかは不明瞭です。モデルは単一の初期化シードで訓練されており、初期化によるばらつきは直接評価されていません。最後に、コードスイッチングは文・語レベルの言語検出でフィルタリングしたものの、完全には除去することは未解決であり、残存するコードスイッチングが結果に影響する可能性があります。 (l1, l2, l3, l4, l5, l6)
総じて、研究はバイリンガル言語モデルがL1固有の影響を再現し、特に後期の眼球運動指標で人間のL2処理を説明する能力があることを示しました。ただし適用範囲と解釈には上記の制約が伴います。 (d1, d2)