arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

結合ベースのデコードで拡散言語モデルのステップ数が減少し、精度損失はわずか1.1ポイントに抑えられる | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
自然言語処理日本語公開済み

結合ベースのデコードで拡散言語モデルのステップ数が減少し、精度損失はわずか1.1ポイントに抑えられる

2026年11月8日arXiv: 2611.08307v1

拡散言語モデルは、一度に多くのトークンを生成できるが、どのトークンを同時に確定(commit)するかを決める必要がある。従来の平均場(mean‑field)デコードは、予測分布が似たトークンペアにペナルティを与えることで選択を行う。

本研究では、"結合(coupling)」と呼ばれる新たな指標を用いる。結合は、ある位置のトークンを確定したときに別の位置の確率分布がどれだけ変わるかを示す。モデル自身の前方パスで、隠れた位置だけを再計算することにより、結合を高速に測定できる。この手法は追加の訓練や別モデルを必要とせず、計算量は1.2〜1.5倍程度である。

実験では、3つのモデルと4つのデータセットで評価した。結合ベースのデコードは、平均して7〜15%のステップ数削減を実現し、平均精度損失は1.1ポイントにとどまった。結合をシャッフルしたり、均一なボーナスに置き換えたりすると、この優位性は失われることが確認された。

また、スプリットされた結合の測定は、完全な前方パスを行った結果とPearson相関係数0.96で高い一致を示した。これにより、近似計算で得られる結合が実際の影響と同等に信頼できることが示された。

結合ベースのデコードは、ステップ数を約26%〜55%削減する一方で、1ステップあたりの計算コストが増えるため、壁時間の高速化はステップ削減の程度に依存する。総合すると、拡散モデルにおける同時確定処理を効率化しつつ、精度低下を最小限に抑える有望な手法といえる。

元論文

Measured Coupling for Parallel Decoding in Diffusion Language Models

自然言語処理人工知能cs.DC機械学習cs.PF
arXiv で見る