すべての人に一次情報を
新しいテストベッドDYNASは、NASimEmuに対し状態保持型IDS応答、スキャン時の誤検出ノイズ、短期的なサービス停止、アクション時間制限を追加することで、実際のIDS対策を再現した。
DYNASで実装されたPen‑DHRLは、マネージャ–ワーカー構造のハイレベルな再帰的ポリシーで、IDSの状態に応じた全体的文脈を用いながら持続的サブゴールを選択する。これにより、複数のシナリオとトレーニング設定でベースライン(GNN、Invariant、Attention)より優れた結果が得られた。
IDSを無効にして訓練し、評価時にIDSを有効化した設定で、Bridgeシナリオでは約64 %、Dynamicシナリオでは約24 %高いステップ別報酬を獲得。VarAとVarBではそれぞれ約26 %と30 %多くホストを取得した。これは、f3で示された性能差と一致する。
一方、訓練開始から全ての防御機構を有効にした場合、平坦な報酬ポリシーはステップ別報酬が負になり、ほとんどホストを取得できないか、やり取り制限に達する。対してPen‑DHRLは各シナリオで正の平均エピソード報酬を維持した。これはf4で述べられた結果と対応している。
以上より、DYNASとPen‑DHRLはIDSが進化するネットワーク環境下でエージェントが耐えうる攻撃戦略を学習できる現実的なテストベッドを提供する。ただし、評価は限定的なシミュレーションに基づくもので、実運用への適用はさらに検証が必要である。