すべての人に一次情報を
AIアシスタントは、反腐敗機関であるNAZK(National Agency on Corruption Prevention)が公開した132件の下議案と結論ペアから構築されたベンチマーク上で、1つの判断基準を持つ文書解析パイプラインを用いて、ドラフト法案の腐敗リスクをスクリーニングする。
TRACEアーキテクチャに基づく階層型パイプラインは、①定量的なパーサー(L1)で文を構造化します。②BM25検索で二つのNAZK事例(L2a)を取得します。③言語モデルにひとつの条項を評価(L2b)させます。④決定論的なルールベースの因子マッピング(L3)を適用します。決定論的なルールベースの因子マッピング(L3)を適用する。必要な場合にのみフラグのリスト優先度付けも行う。
100件の下議案を対象に実験した結果、Gemma 4 31Bローカルモデルでは上位10件のフラグにおいてNAZKが報告した検出結果の28%を再現し、Sonnet 5.5クラウドモデルでは30%を再現した。すべてのフラグを対象にした場合の再現率は、Gemmaで43%、Sonnetで46%となった。
ただし、システムはNAZKが報告した32件の法的衝突事例のいずれも検出できなかった。さらに、スキャンされた法案のOCRエラーによりパースエラーが増大し、検出漏れが拡大した。
ベンチマークは再現率(recall)のみを測定しており、精度(precision)はNAZKが報告しない欠損推定があるため不明である。したがって得られた数字は、機器が官公庁の報告にどれだけ一致するかを示すものであり、全体的な正確性を保証するものではない。
この研究はNAZKが公開したドラフト–結論ペアを利用し、TRACEフレームワークを採用して構築された。