研究は、複数の大規模言語モデル（LLM）分類器を順応的な問い合わせと判断の列に組織する「回路」を導入しました。回路は、平均分類精度を保ちながら平均問い合わせコストを下げることを目的とします。

著者らはまず、LLM分類器を「ノイズを含む計測器（instrument）」として扱います。回路は、どの計測器をいつ呼ぶかを決める問い合わせ方針（π_query）と、得られた応答履歴から最終ラベルを出す判断規則（π_predict）の組として定義されます。

理論面では、与えられたプロンプトに対する最適回路はベルマン方程式に基づく動的計画問題の解として表されます。最適解は段階ごとの後向き帰納（backward induction）で計算できます。実装上の手順として提示されたLMCircuitは次の二段階を行います。まずプロンプト埋め込みを用いてラベルと各計測器の出力の同時分布を訓練データから確率的に推定します。次にその推定を動的計画に差し込み、プロンプトごとにどのLLMをいつ呼んでいつ止めるかを決める方針を生成します。

モデル化上の仮定として、プロンプトに条件付けたとき計測器間の応答は独立であると置いています。著者らはこの区別（同一プロンプト内の独立性と、誤りの相関をプロンプト間で評価すること）を示し、経験的検証も報告しています。LMCircuitはまた、プロンプト埋め込みだけで零コストの先行予測を出せる設計になっており、低コスト側の運用では埋め込みに基づく予測をCPU上で実行して開始できます。

実験は七つの分類タスクで行われました（AgentJudgeBench、BeaverTails、BIG‑Bench Hard、Decision Index、HealthBench、LMArena、PolitiCause）。結果として、学習した回路（LMCircuit）はルーティングやカスケードといった従来手法よりもコスト―精度フロンティアを改善しました。ほとんどのコスト予算で、回路は個々の計測器やルーティング／カスケードのベースラインより高い精度を達成しています。比較対象にはRouteLLMやHybridLLM、CARROTなどのルータ系、複数のカスケード手法、Adaptive‑Consistency といったサンプリング法、個別計測器や多数決が含まれます。

定量的には、LMCircuitは七つのタスクでの訓練が約1–3分で済み、いくつかのベースラインが数分から数時間を要するのに比べて短時間で構築できました。また、未見プロンプト上での挙動について、埋め込み予測に対して「予算1」の回路がノイズのあるプロンプトで精度を5%〜44%向上させたと報告されています。すべての呼び出しが正しかったプロンプトでは、多数決とほぼ同等（差は概ね1.3%以内）を保ちながら、38%〜86%少ない呼び出しで済ませることが示されています。さらに、学習した確率モデルは未知データ上で各計測器の精度や計測器間の相関を比較的よく再現しており、推定による相関は実測と概ね数パーセントの差、精度は1–4%程度の差に収まると報告されています。

理論的な限界と設計上の示唆も示されています。動的計画はモデル数が増えると状態空間が指数的に増大するため、計算負荷と同時に同時分布推定の統計コストが増えます。したがってモデルプールの構築では、追加する計測器が与える追加情報と、それを推定・利用するコストを天秤にかける必要があります。プロンプトごとの情報率 I(z) の分布に依存して、母集団平均での誤差―コストスケールは異なり得ます。具体的な裾野仮定の下では、母集団レベルで指数的、伸張指数的、あるいは多項式的な減衰が起こり得ると解析されています。

非漸近的な基本限界としては、あるプロンプトで問い合わせを一切行わない「零コスト回路」が最適となる閾値が導かれています。零コストが最適となる閾値の一方的な十分条件として、λ ≥ 1/(2 c_min(z)) が示されています。また、全計測器を用いた場合に得られる最小誤差は、観測された計測器出力に基づく事後ベイズ誤差として与えられ、これはそのプールから構成可能な任意の回路の誤差下限です。新しい計測器を追加したときの期待改善は、その計測器が既存の観測に対してどれだけ追加情報を与えるかによって上界されます。論文の命題ではこの上界が Proposition 4（式(9)）として √(1/2·I(Y; X(i_new) | X(H), Z)) の形で与えられており、追加計測器の価値は単独精度だけで決まるわけではなく既存の観測に対して冗長でない情報をどれだけ補うかに依存することが明示されています。