研究者は、15歳のドイツ生徒が書いた英語エッセイを対象に、AIと人間の書き方を区別する検出器を評価した。keystrokeやクリップボード、チャットログを用いて、最終文の全文字を元の出所に追跡し、文章レベルと文レベルで「人間」「AI」「混合」「後AI使用」などのラベルを作成した。

特徴量ベースのXGBoostモデルと、凍結Llama‑3.1‑8B埋め込みを用いたRFCNスキャナーを比較した。その結果、AI対人間テストセットでは、テキストレベルでXGBoostが0.95、RFCNが0.96、文レベルではXGBoostが0.88、RFCNが0.95のマクロF1スコアを達成した。灰色領域のアイテム（混合・AI追跡不可テキスト）を追加しても、性能はわずかに低下した。

ただしラベルの基準は90 % AI比と0.85–0.90の類似度閾値に設定されている。大量にパラフレーズされたAI素材やアイデアのみを参照したケースは検出できず、これらでは混合またはAI影響のある文書の誤分類が起きる可能性がある。さらに、単語レベルの複雑さを利用する特徴量ベース検出器は、単純な学生リライトプロンプトにより低下し、AIのリコールは0.92から0.60へ、Qwen3では0.41に下がった。

総じて、厳密に構成された条件下ではAI生成文と純粋な人間文を高精度で分離できるが、短文や高度パラフレーズ文、混合コンテンツに対しては信頼性が低下する。