arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

AIアシスタントが国の反腐敗機関の報告のうち30%を検出―Gemma 4 31BとSonnet 5.5で比較 | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
自然言語処理日本語公開済み

AIアシスタントが国の反腐敗機関の報告のうち30%を検出―Gemma 4 31BとSonnet 5.5で比較

2026年11月13日arXiv: 2611.14244v1

AIアシスタントは、反腐敗機関であるNAZK(National Agency on Corruption Prevention)が公開した132件の下議案と結論ペアから構築されたベンチマーク上で、1つの判断基準を持つ文書解析パイプラインを用いて、ドラフト法案の腐敗リスクをスクリーニングする。

TRACEアーキテクチャに基づく階層型パイプラインは、①定量的なパーサー(L1)で文を構造化します。②BM25検索で二つのNAZK事例(L2a)を取得します。③言語モデルにひとつの条項を評価(L2b)させます。④決定論的なルールベースの因子マッピング(L3)を適用します。決定論的なルールベースの因子マッピング(L3)を適用する。必要な場合にのみフラグのリスト優先度付けも行う。

100件の下議案を対象に実験した結果、Gemma 4 31Bローカルモデルでは上位10件のフラグにおいてNAZKが報告した検出結果の28%を再現し、Sonnet 5.5クラウドモデルでは30%を再現した。すべてのフラグを対象にした場合の再現率は、Gemmaで43%、Sonnetで46%となった。

ただし、システムはNAZKが報告した32件の法的衝突事例のいずれも検出できなかった。さらに、スキャンされた法案のOCRエラーによりパースエラーが増大し、検出漏れが拡大した。

ベンチマークは再現率(recall)のみを測定しており、精度(precision)はNAZKが報告しない欠損推定があるため不明である。したがって得られた数字は、機器が官公庁の報告にどれだけ一致するかを示すものであり、全体的な正確性を保証するものではない。

この研究はNAZKが公開したドラフト–結論ペアを利用し、TRACEフレームワークを採用して構築された。

元論文

An AI Assistant for Automating Anti-Corruption Expertise of Draft Legislation Based on the TRACE Framework

自然言語処理人工知能
arXiv で見る