arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
人工知能日本語公開済み

Gradusは環境を潜在的カリキュラムとして扱い、行動条件を抽出してLLMエージェントを改善

2026年10月21日arXiv: 2610.27781v1

主要発見 Gradus(GRADUS)は、タスクが教えるべき内容を具体的な課題や解法から切り離します。固定された実行可能な環境を潜在的なシラバス(カリキュラム)として扱い、行動の条件とその結果を表す「ガーデッド演算子」を抽出します。

ガーデッド演算子の定義(手短に) ガーデッド演算子は、LLMが読める原子的行動の表現です。目的・パラメータ・関連する状態フィールド・分岐するガード条件・条件付きの結果を記録します。形式的には g(a) = { r_a,i ⇒ q_a,i } の形で表されます。ここで r_a,i が適用条件、q_a,i が対応する効果や要求される振る舞いを示します。たとえば、返金が発生する予約と拒否すべき不適格なリクエストを区別できます。

シナリオ生成と進化の仕組み Gradusはこれらの演算子を組み合わせて、段階的に難易度を上げるシンボリックなシナリオ青写真を作ります。全体のカバレッジを記録するグローバル台帳(coverage ledger)を用いて、コーパス上で過小表現な(ポリシー, 結果)の組合せを優先して生成します。構造カーネル(CAUSAL、PARALLEL、REPETITION)や相互作用カーネル(間接参照、曖昧性、社会的圧力、推論)により、青写真の構造と要求の提示方法を多様化します。

タスクと解の共同精練ループ Gradusは「初期化 → シミュレーション → 検証」の反復ループでタスクと解を共同で精練します。初期化で青写真を環境の具体的状態に落とし込みます。シミュレーションでは並列探索と評価器で候補デモンストレーションを生成します。検証では参照解とデモを再生して結果を比較し、どちらを修正するかを判定します。検証は単なる合否フィルタではなく、失敗した候補の修復へ向けた回復信号として使われます。これにより難しい例が捨てられにくくなります。

ベンチマークと評価指標 評価には τ2-Bench(航空、リテール、通信)と CAR-Bench(車載音声アシスタント。base、disambiguation、hallucinationの分割)を用いました。各タスクは実行可能な評価器で合否判定されます。指標 pass@1 は5回の独立実行での合格率平均として報告されます。

具体的な成果(数量値) オフ・ザ・シェルフのバックボーンから得られたカリキュラムを用いると、報告された実験設定で30B規模のモデルの成績が大きく改善しました。たとえば、Opus 4.5 をプロポーザーに用いた条件では、τ2-Benchが59%から89%に、CAR-Benchが47%から83%に上昇しました。オープンウェイトの Qwen3-235B プロポーザーを用いた条件では、同じ30Bバックボーンがそれぞれ76%と62%を記録しました。

対照条件下での比較 プロポーザーを Opus 4.5、学生モデルを Qwen3-8B、データ予算を固定した条件で、Gradusは三つの制御合成ベースラインをすべて上回りました。強いベースラインと比べると、航空で59%→71%、通信で71%→92%、CARのhallucinationで52%→74%の改善が報告されています。

実験の設計と学習経路 カリキュラム構築や合成には Claude Opus 4.5 または Qwen3-235B をプロポーザーとして用いました。学生モデルには Qwen3-8B、Qwen3-14B、Qwen3-30B-A3B を訓練しました。浅いレッスン(進化深度1–3)は主に教師あり微調整(SFT)へ回し、深いレッスン(深度4–5)は主に強化学習(RL)へ回しました。RLには Group Relative Policy Optimization(GRPO)に基づく最適化を使い、報酬は構築時の実行可能な受容信号と同じものが用いられました。

構成要素の寄与とアブレーション ガーデッド演算子、グローバル台帳、構造的進化、相互作用の多様化を除くと性能が下がるとの報告があります。特に検証を除いた場合に大きな低下が見られます。逆に、並列ソリューション探索や評価器誘導の反映、タスク回復を追加すると性能が累積的に改善し、難しい例が保存されやすくなります。領域ごとの影響は異なります。たとえば通信ドメインでは台帳が重要だとされています。

カバレッジ効果(探索の広がり) 台帳によるカバレッジ誘導探索は、既存手法より1.4倍〜2.9倍多くの異なる(ポリシー, 結果)組合せを発見しました。構造的進化は、航空で行動組合せカバレッジを最大約5倍、リテールで約1.5倍に拡張しました。ベースラインは追加例でカバレッジが飽和する傾向がありましたが、Gradusは新たな組合せを継続して発見しました。

制約と未解決点(慎重な注意) Gradusは現在、明示的なポリシーと実行可能なアウトカムを持つ有界な環境に焦点を当てています。これを超える環境への拡張は今後の重要な課題です。プロポーザーの強さも重要です。二つのプロポーザーはリテールにおける(ポリシー, 結果)カバレッジでは一致したものの、行動の組合せについては約1.7倍の差が観察されました。これは、見たことのない行動集合を構成する能力がプロポーザー性能に依存することを示唆します。

意義(支持される範囲で) Gradusは環境実行を共通の基準点として用い、タスク設計と解決策構築を相互に校正します。これにより、探索すべき行動と検証されて訓練データに残す行動の両方を制御できます。報告された改善は、提示されたベンチマークと実験設定の範囲内での結果です。

元論文

GRADUS: Discovering and Recovering Agent Lessons from the Environment's Latent Syllabus

人工知能
arXiv で見る
Gradusは環境を潜在的カリキュラムとして扱い、行動条件を抽出してLLMエージェントを改善 | arXiv News