ensemble null testはCMB（宇宙マイクロ波背景放射）のシミュレーションで、従来のχ^2テストでは見落とされがちなシステム誤差を検出できることが確認された。

この手法は、複数回取得した測定結果の多変量分布を、観測やシミュレーションから作成した参照集合と比較する。

PQ M‑ASSという非パラメトリックテストは、測定空間をベロノイセルに分割し、各セル内に入るデータ点と参照点の割合を比較する。

実験では、N＝100のスペクトル集合でPQ M‑ASSは5％の偽陽性率で他の多変量検定（HotellingのT^2、Kolmogorov–Smirnov χ^2、Fisher χ^2、スペクトル単位のχ^2）より50％高い検出率を示した。N＝20の小規模集合でも安定した性能を保った。

従来のχ^2集計は方向性と共分散構造を失うため、共分散推定が不正確だったり観測を平均化した場合、実際のシステム誤差が見逃されることがある。ensemble null testは観測間の変動を保持し、検出感度を高める。

しかし、χ^2と同様に集約前に測定を平均化すると観測毎の変動が消えて検出率が低下する。ensembleテストはそれを回避できるが、建設的に配慮すべき点がある。