すべての人に一次情報を
拡散言語モデルは、一度に多くのトークンを生成できるが、どのトークンを同時に確定(commit)するかを決める必要がある。従来の平均場(mean‑field)デコードは、予測分布が似たトークンペアにペナルティを与えることで選択を行う。
本研究では、"結合(coupling)」と呼ばれる新たな指標を用いる。結合は、ある位置のトークンを確定したときに別の位置の確率分布がどれだけ変わるかを示す。モデル自身の前方パスで、隠れた位置だけを再計算することにより、結合を高速に測定できる。この手法は追加の訓練や別モデルを必要とせず、計算量は1.2〜1.5倍程度である。
実験では、3つのモデルと4つのデータセットで評価した。結合ベースのデコードは、平均して7〜15%のステップ数削減を実現し、平均精度損失は1.1ポイントにとどまった。結合をシャッフルしたり、均一なボーナスに置き換えたりすると、この優位性は失われることが確認された。
また、スプリットされた結合の測定は、完全な前方パスを行った結果とPearson相関係数0.96で高い一致を示した。これにより、近似計算で得られる結合が実際の影響と同等に信頼できることが示された。
結合ベースのデコードは、ステップ数を約26%〜55%削減する一方で、1ステップあたりの計算コストが増えるため、壁時間の高速化はステップ削減の程度に依存する。総合すると、拡散モデルにおける同時確定処理を効率化しつつ、精度低下を最小限に抑える有望な手法といえる。