すべての人に一次情報を
MAAS(Multi‑Area Auditory Synthesis)は、注視領域(ROI)ごとのfMRI応答を直接処理して、事前学習済みの音声拡散トランスフォーマを条件付けるフレームワークです。従来のパイプラインのように、脳活動を一度別の表現にデコードする必要がありません。
MAAS は専用のクロスアテンションアダプタを設け、脳トークンを拡散トランスフォーマの条件付け経路に注入します。拡散ダイナミクスの本体は凍結したままで、テキスト条件として空文字を入力し、脳トークンは学習可変のスカラーで重み付けされます。この構成により、解析用のバックボーンを微調整せずに脳情報を利用できます。

実験では 7T fMRI データセット(被験者5名、1秒あたり 288 度音)を用い、MAAS は従来の二段階 fMRI‑to‑latent ベンチマークを上回りました。CLAP 相関は 0.614 ± 0.13、ペアワイズ識別精度は 85.4 ± 4.2 % で、ベンチマークの 0.509 ± 0.16 と 70.1 ± 5.9 % を大きく上回ります。また、Mel‑SSIM は 0.297 ± 0.09、対数メル距離は 0.152 ± 0.04 と改善しました。
| Condition | CLAP sim. ↑ | ID acc. ↑ | Mel-SSIM ↑ | Log-mel dist. ↓ |
|---|---|---|---|---|
| Brain-conditioning baselines | ||||
| MAAS (our adapter) | 0.614±0.13 | 85.4±4.2% | 0.297±0.09 | 0.152±0.04 |
| MAAS (no backbone fine-tuning) | 0.548±0.17 | 73.1±4.8% | 0.283±0.08 | 0.171±0.04 |
| Brain-plus-empty | 0.436±0.14 | 63.1±5.7% | 0.273±0.10 | 0.185±0.05 |
| Brain-only | 0.403±0.15 | 58.3±5.9% | 0.226±0.08 | 0.197±0.06 |
| Two-stage fMRI-to-latent | 0.509±0.16 | 70.1±5.9% | 0.270±0.10 | 0.177±0.08 |
| Caption-based conditions | ||||
| Caption-only | 0.572±0.12 | 87.9±5.4% | 0.166±0.08 | 0.249±0.07 |
| Caption-plus-brain (zero-shot) | 0.610±0.14 | 84.6±5.7% | 0.275±0.09 | 0.167±0.06 |
| Caption-plus-brain (retrained) | 0.584±0.15 | 82.4±5.1% | 0.311±0.11 | 0.143±0.04 |
バックボーン微調整を行わなかったり、脳トークンのみを使用した条件付けでは性能が低下することが確認され、専用アダプタの重要性が示されました。
ただし、評価は 5 名の被験者と 288 種類の 1 秒音に限定されているため、結果の一般化は限定的です。また、fMRI レスポンスはヘモダイナミック応答により時間的に平滑化されるため、MAAS は時間的に統合された聴覚皮質活動のスナップショットを入力として使用しています。将来的にはより大規模なデータセットでの検証が必要です。