最新のチュートリアルは、データセンターを必要とせず、tokenizer も含めて一台の消費者向け GPU だけで、検証データ上でマスク拡散モードが自己回帰モードの対数尤度を0.06ビット/バイト以上上回ることを実証した。

トレーニングでは、byte‑level BPE tokenizer と隠れ次元 d=384 の 6 層 Transformer を用い、fp16 で AdamW オプティマイザを使用。学習率とドロップアウトはグリッド検索で決定し、64 トークンのウィンドウに区切り、各文書の末尾に EOS トークンを付与してパディングした。

ネットワークは 2 つの生成モードを持つ。自己回帰モードは causal attention を使い前のトークンから次を予測し、マスク拡散モードは双方向注意でマスクされたトークンを残りの文脈から推測する。

検証データ上で、マスク拡散モードは自己回帰の対数尤度を 0.06 bits/byte だけ上回り、事前登録された最小効果サイズ内に収まることを示した。両モードとも、訓練後に公開された法律文書上で 6‑gram floor と同等の性能を維持した。

ただし、自己回帰モードは 256 エポックで訓練データに対して 0.036 bits/byte を達成し、検証データでは 2.851 bits/byte となり、ほぼ完璧に memorise していることが示唆される。対照的に拡散モードは訓練で 1.550、検証で 1.825 という数値を示し、オーバーフィットの影響が小さい。