arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

脳画像から音声を生成する新フレームワーク MAAS が登場 | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
サウンド日本語公開済み

脳画像から音声を生成する新フレームワーク MAAS が登場

2026年11月12日arXiv: 2611.12603v1

MAAS(Multi‑Area Auditory Synthesis)は、注視領域(ROI)ごとのfMRI応答を直接処理して、事前学習済みの音声拡散トランスフォーマを条件付けるフレームワークです。従来のパイプラインのように、脳活動を一度別の表現にデコードする必要がありません。

MAAS は専用のクロスアテンションアダプタを設け、脳トークンを拡散トランスフォーマの条件付け経路に注入します。拡散ダイナミクスの本体は凍結したままで、テキスト条件として空文字を入力し、脳トークンは学習可変のスカラーで重み付けされます。この構成により、解析用のバックボーンを微調整せずに脳情報を利用できます。

図1は、fMRI応答を脳トークンに変換し、専用アダプタで拡散トランスフォーマーに注入するMAASの構造図を示す。
Figure 1. MAASフレームワークの概要。ROIごとのfMRI応答を脳トークンに投影し、専用クロスアテンションアダプタを介して拡散トランスフォーマーの条件付け経路に注入。バックボーンは凍結したまま。Ciferri, Matteo, Weidler, Tonio, Ferrante, Matteo, Toschi, Nicola, Formisano, Elia · arXiv:2611.12603v1 · Figure 1: · CC BY 4.0

実験では 7T fMRI データセット(被験者5名、1秒あたり 288 度音)を用い、MAAS は従来の二段階 fMRI‑to‑latent ベンチマークを上回りました。CLAP 相関は 0.614 ± 0.13、ペアワイズ識別精度は 85.4 ± 4.2 % で、ベンチマークの 0.509 ± 0.16 と 70.1 ± 5.9 % を大きく上回ります。また、Mel‑SSIM は 0.297 ± 0.09、対数メル距離は 0.152 ± 0.04 と改善しました。

表1は、MAASと二段階fMRI‑to‑latentベンチマークの性能指標(CLAP相関、ID精度、Mel‑SSIM、log‑mel距離)の比較を示す。
ConditionCLAP sim. ↑ID acc. ↑Mel-SSIM ↑Log-mel dist. ↓
Brain-conditioning baselines
MAAS (our adapter)0.614±0.1385.4±4.2%0.297±0.090.152±0.04
MAAS (no backbone fine-tuning)0.548±0.1773.1±4.8%0.283±0.080.171±0.04
Brain-plus-empty0.436±0.1463.1±5.7%0.273±0.100.185±0.05
Brain-only0.403±0.1558.3±5.9%0.226±0.080.197±0.06
Two-stage fMRI-to-latent0.509±0.1670.1±5.9%0.270±0.100.177±0.08
Caption-based conditions
Caption-only0.572±0.1287.9±5.4%0.166±0.080.249±0.07
Caption-plus-brain (zero-shot)0.610±0.1484.6±5.7%0.275±0.090.167±0.06
Caption-plus-brain (retrained)0.584±0.1582.4±5.1%0.311±0.110.143±0.04
Table 1. 7T fMRIデータセットに対するMAASとベンチマークの性能比較。CLAP相関、ペアワイズ識別精度、Mel‑SSIMが最高で、対数メル距離が最低。Ciferri, Matteo, Weidler, Tonio, Ferrante, Matteo, Toschi, Nicola, Formisano, Elia · arXiv:2611.12603v1 · Table 1: · CC BY 4.0

バックボーン微調整を行わなかったり、脳トークンのみを使用した条件付けでは性能が低下することが確認され、専用アダプタの重要性が示されました。

ただし、評価は 5 名の被験者と 288 種類の 1 秒音に限定されているため、結果の一般化は限定的です。また、fMRI レスポンスはヘモダイナミック応答により時間的に平滑化されるため、MAAS は時間的に統合された聴覚皮質活動のスナップショットを入力として使用しています。将来的にはより大規模なデータセットでの検証が必要です。

元論文

Direct Conditioning of Audio Diffusion Transformers on fMRI Reveals Cortical Contributions to Sound Reconstruction

サウンドコンピュータビジョン
arXiv で見る