大量言語モデル（LLM）を搭載したコンピュータ利用エージェントは、動作中に環境が変化するソフトウェアで動くことがある。ある診療予約が移動したり、保険ポリシーが更新されたりするケースでは、エージェントの失敗原因がエージェント自身なのか、変化が正しく反映されていないのか、評価者が誤ってスコアを付けたのかを判断するのは困難だ。これらの問題を解消するため、EnvOS（Environment Operating System）は、タスク実行前に変更の正当性、観測の一貫性、タスクの解決可能性、行動の区別性、スコアリングの頑健性を検証する安全チェックを実装した。

クレオイー・オプス5（Claude‑Opus 5）を用いたクリニック予約実験では、変更情報が提示されない状態での成功率は0/16だったが、ソースの再確認を促すリマインダーを提示しただけで2/16に上昇、更新された予約時間を表示した場合は15/16に達した。後者の改善は統計的に有意（p = 0.00293）で、複数検定の補正後も有意であった。この実験は、モデルの応答が環境変化に依存することを示した。

同様に、クレオイー・ソネット5（Claude‑Sonnet 5）では、ポリシー情報を再提示しただけで1/10から9/10に上昇したが、補正後では有意差は残らなかった。したがって、モデルとインターフェースによって変化を検知できる頻度は異なる。

EnvOSは、実験後に別コードで記録された証拠を再確認し、ギャップや不一致がないかを検証する。頑健性テストでは、既知の破損エピソード26件を“汚染”セットから無作為に選び、EnvOSは全件を拒否した。外部生成の破損エピソード39件では25件を検出したが、単純ログチェックでは4件しか検出されなかった。これは、EnvOSパイプラインが破損を有効に検出できることを示す。

ただし、環境が「組織的妥当性」を満たしていても、エージェントの行動が登録された指示セットから逸脱している場合は失敗と算定できる。したがって、EnvOSはすべてのエピソードが正しいと保証できない。

総じて、EnvOSはタスク実行中の環境変化がエージェントの性能に与える影響を定量的に捉え、環境構築と検証を通じてそのギャップを大きく縮小できることを示した。