Table I で示される欠陥例は、報酬・行動・最終観測・エピソード終了・ログ・隠れ変数など多岐にわたり、どれもシステムエラーを起こさない。Table III の結果は、障害が影響を与える範囲と、検知しきい値の有効性を可視化した。これらのデータは、同一プロセス内にあってもネットワーク越しに動作しても、通信境界の欠陥が手元に無害に残る可能性が高いことを裏付ける。
TABLE I は、報酬・行動・最終観測・エピソード終了・ログ・隠れ変数など、多岐にわたる欠陥例を示すテーブル。各欠陥は環境とトレーナーにおいてエラーを起こさないことを示している。
kind
where
what was wrong
reward
RLlib [15]
an agent with no last observation got reward 0, not the environment’s
Tianshou 0.4.2 [16]
rewards earned while the opponent moved were dropped
action
PettingZoo 1.22 [17]
one-dimensional continuous actions were cast to integers
final obs.
SuperSuit [18]
the reset’s info overwrote the terminal observation
episode end
MAPPO’s SMACv2 wrapper [19]
dead agents’ padded steps were trained on as real
log
Gymnasium 1.3 (E51)
under SAME_STEP, every episode after an env’s first lost its first reward and a step (fixed in 1.4 [20])
CleanRL [10] (E51)
on Gymnasium 1.3, not the 0.29 it pins, no episode was logged
RLlib 2.53 [21]
a shared module logged one agent’s return, not the sum
our specification (E44)
for a client written from it, the server logged a return of 0