すべての人に一次情報を
研究者は、残差ネットワーク（ResNet）を早期退出ポイントで共同学習させると、入力層から任意の中間層までの表現が急速に同一領域に収束することを発見した。この現象は「トランスピラート（turnpike）」と呼ばれ、ネットワークの全層数に関係なく、ある損失レベルに到達するために必要な層数が一定となることを意味する。
この結果は、最終層と各中間出口層の交差エントロピー損失を重み付きで合計した共同学習目標を、残差ブロックの動的ステップとトレーニングパラメータを制御入力とみなす離散時間最適制御問題（OCP）に再帰的に変換することで説明できる。図３（参考資料）では、OCPと早期退出ResNetの学習フレームワークの数学的等価性が示されている。
| Optimal Control Problem min𝐰JN(𝐰)=∑k=0N−1ℓk(𝐱k,𝐰k)+Jf(𝐱N)(3a)s.t.k=0,…,N−1𝐱k+1=fk(𝐱k,𝐰k),(3b)𝐱0=𝐱0.(3c) | Optimal Control Problem | min𝐰JN(𝐰)=∑k=0N−1ℓk(𝐱k,𝐰k)+Jf(𝐱N)(3a)s.t.k=0,…,N−1𝐱k+1=fk(𝐱k,𝐰k),(3b)𝐱0=𝐱0.(3c) |
| Optimal Control Problem | ||
| min𝐰JN(𝐰)=∑k=0N−1ℓk(𝐱k,𝐰k)+Jf(𝐱N)(3a)s.t.k=0,…,N−1𝐱k+1=fk(𝐱k,𝐰k),(3b)𝐱0=𝐱0.(3c) |
OCPの枠組みを用いると、δ-サブ最適解の場合、全体の学習目的関数はネットワークの深さや出口配置に依存しない定数で上限付けられるという理論が導ける。したがって、損失のトランスピラート境界はネットワークの深さとは無関係となり、深層モデルでもより多くの層を必要としない。
実証的には、CIFAR‑10データセットでのトレーニングデータに対してこの収束が確認され、テストデータでは約7％点の一般化ギャップが観測された。テスト精度は、1つの出口を一定間隔（M＝6）ごとに配置することでわずかに改善する傾向があるが、理論的保証はトレーニングデータに限定される。
この研究は、ソフトマックスエントロピーや最大確率に基づく早期退出基準の有効性を、過剰推論（overthinking）問題に結びつけて理論的に説明し、深層ネットワークにおける内部表現の類似性を新たな視点で示した。