arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

環境とトレーナーの通信境界で多数の欠陥がエラーを起こさない | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
ロボティクス日本語公開済み

環境とトレーナーの通信境界で多数の欠陥がエラーを起こさない

2026年11月8日arXiv: 2611.08144v1

ロボット強化学習では、環境がトレーナーと別プロセスや別マシンで動くケースが増えている。そこで研究者は境界をワイヤプロトコル化し、ステップレジェル(step ledger)で両側のすべての手順を記録・比較した。Pendulum・HalfCheetah・Hopper・7関節Pusherアームの4環境で、送受信を横断するデータに最大23個、トレーナー側ログに2個の欠陥を注入した。結果、10%程度の値が変わった場合でも学習曲線閾値は1回に10回のうち最大1回しか肯定しなかった。

学習曲線閾値は、欠陥のない種子の中央値より500点上のゲインしきい値を基準に平均報酬を評価した。10%未満のノイズでは失敗率が高く、すべての値が誤っている場合にしか35%〜48%の走行が検知されなかった。対照的に、種子間の統計広がりチェックは偽陽性がほぼゼロだったが、10%未満の欠陥では最大21%しか検出しないことが示された。これは境界欠陥に対する従来の検証手法が弱いことを示す。

Table I で示される欠陥例は、報酬・行動・最終観測・エピソード終了・ログ・隠れ変数など多岐にわたり、どれもシステムエラーを起こさない。Table III の結果は、障害が影響を与える範囲と、検知しきい値の有効性を可視化した。これらのデータは、同一プロセス内にあってもネットワーク越しに動作しても、通信境界の欠陥が手元に無害に残る可能性が高いことを裏付ける。

TABLE I は、報酬・行動・最終観測・エピソード終了・ログ・隠れ変数など、多岐にわたる欠陥例を示すテーブル。各欠陥は環境とトレーナーにおいてエラーを起こさないことを示している。
kindwherewhat was wrong
rewardRLlib [15]an agent with no last observation got reward 0, not the environment’s
Tianshou 0.4.2 [16]
rewards earned while the opponent moved were dropped
actionPettingZoo 1.22 [17]one-dimensional continuous actions were cast to integers
final obs.SuperSuit [18]the reset’s info overwrote the terminal observation
episode endMAPPO’s SMACv2 wrapper [19]dead agents’ padded steps were trained on as real
logGymnasium 1.3 (E51)under SAME_STEP, every episode after an env’s first lost its first reward and a step (fixed in 1.4 [20])
CleanRL [10] (E51)on Gymnasium 1.3, not the 0.29 it pins, no episode was logged
RLlib 2.53 [21]a shared module logged one agent’s return, not the sum
our specification (E44)for a client written from it, the server logged a return of 0
TABLE I. 1行目が報酬、2行目が行動、3行目が最終観測などの欠陥例の一覧。Gou, Zuo, Lu, Chenhao · arXiv:2611.08144v1 · TABLE I: · CC BY 4.0

以上から、環境とトレーナーの境界で発生する多数の欠陥は、エラーを出さずに過ぎ去り、学習曲線や種子散布のチェックではほとんど検知されない。ネットワーク構成やプロトコル設計の信頼性を高める必要があることが示唆される。

元論文

Detecting Silent Faults at the Environment-Trainer Boundary in Reinforcement Learning

ロボティクス機械学習ソフトウェア工学
arXiv で見る