すべての人に一次情報を
部分編集オーディオは、実録音の選択した部分だけを編集し、残りはそのまま残す生成音声技術である(f1)。この手法は誤発音の修正やバックグラウンドサウンドの変更などに利用でき、誤情報拡散にも応用可能だ(f2)。
初期の方法では単純なスパイシングやコピー・ムーブが使われ、境界に切れ目や背景の不一致が残る問題があった。対して、文脈認識型インフィリングは左側と右側のコンテキストを考慮し、編集部位を自然に統合する(f4)。
インフィリングでは自己回帰型コードック言語モデルが音響トークンを予測し、非自己回帰型拡散やフロー一致モデルがスペクトログラムや潜在空間で処理する(f6)。
検出の難点は編集部位が短くて目立ちにくい点である。多くの場合生成されたフェイクオーディオのみで訓練されたモデルは部分編集では性能が低下するが、短いフェイク部分で訓練した検出器は両方に対して一般化できる(f5)。
防御研究は主に時間領域の言語内容の編集に集中し、パラリンギスティック・エクストラリンギスティック・属性編集はほとんど未調査だ(f7)。また、既存ベンチマークはクリーンで単一話者、スタジオ品質の録音に限定され、ノイズやリバーブ、多話者環境での検証が不足している(f8)。
将来の防御戦略では、生成時にウォーターマークを埋め込み、後の編集を正確に追跡・検証できるプロアクティブアプローチが提案されている(f9)。
PartialSpoof、HAD、ADDチャレンジシリーズなどの防御資源はセグメントレベルのローカリゼーションやマルチモーダル偽造、指示駆動型部分フェイクを網羅するよう拡張されたが、プロソディ、感情、背景などすべての編集タイプをカバーしているわけではない(f10)。
結論として、部分編集オーディオは高精度で柔軟な編集を可能にするが、実用性と信頼性を両立させるにはより現実的なベンチマークとプロアクティブ検出手法が必要である。