脑区注意力真的能解释视觉解码吗？——ICLR 2026 NeuroAdapter与IBBI精读

脑区注意力真的能解释视觉解码吗——ICLR 2026 NeuroAdapter与IBBI精读原论文Towards Interpretable Visual Decoding with Attention to Brain Representations作者Pinyuan Feng、Hossein Adeli、Wenxuan Guo、Fan Cheng、Ethan Hwang、Nikolaus Kriegeskorte会议International Conference on Learning RepresentationsICLR 2026原文OpenReview KAAUvi4kpb项目页NeuroAdapter关键词fMRI、视觉解码、Stable Diffusion、Cross-Attention、可解释性30秒看懂这篇论文研究问题多数fMRI图像重建先把脑信号映射到CLIP、DINO等视觉或文本特征再用这些特征控制生成模型。图像可以很漂亮但不同脑区究竟如何影响结果被中间表示遮住了。核心方法NeuroAdapter把皮层划分为parcel将每个脑区映射成一个fMRI token直接送进Stable Diffusion 1.5的跨注意力层。IBBI再利用扩散过程中完整的注意力矩阵分别从“脑区贡献”和“图像空间落点”两个方向解释生成。主要结果在NSD四名被试上模型的高层语义指标有竞争力但整体没有超过最强基线像素相关明显落后。解释性方面Face、Body、Word ROI注意力与SAM3分割的重合度优于全图基线遮罩高层ROI也会大幅破坏语义重建。真正贡献把“脑活动如何进入扩散模型”做成可追踪接口并同时给出观察性注意力、定量空间验证和模型内干预三层证据。最大警惕注意力不是天然因果解释SAM3只是生成图上的伪真值所谓因果遮罩证明的是模型对token的依赖而不是相应脑区在人体视觉中的因果功能。1. 为什么还要做一种视觉解码模型近年的脑图像重建大多采用两阶段路线先训练fMRI到CLIP、DINO或图像潜变量的映射再把预测出来的表示交给扩散模型。它的工程优势很明显——基础模型已经从海量图像中学到丰富先验脑数据只需要对齐到一个成熟的特征空间。但对神经科学而言这个中间空间既是助力也是遮挡最后生成的脸、动物或场景到底由脑信号中的什么信息驱动又有多少只是生成模型根据语义提示补出来的往往说不清楚。图1原论文Figure 1PDF第1页从论文页面忠实裁剪未改动。来源ICLR 2026OpenReview KAAUvi4kpb。Figure 1把论文的主张压缩成一张图。左侧是传统路线脑活动先进入与基础模型对齐的表示空间再指导生成右侧则将脑活动直接送入图像生成器并从注意力权重中恢复脑表面贡献图和ROI注意力图。作者希望同时回答两个问题不借助显式CLIP/DINO中间表示能否重建有意义的图像如果能生成过程能否被追踪到具体脑区和具体图像位置这里必须先限定“端到端”的含义。NeuroAdapter取消的是脑信号到外部图像/文本embedding的显式预测阶段并没有从零训练生成模型。它仍依赖预训练Stable Diffusion 1.5的强图像先验评估时还使用另一个whole-brain encoder从多个随机生成候选中挑选最终结果。因此它是“脑token直接条件化扩散模型”不是“只靠这批fMRI数据学会生成图像”。2. NeuroAdapter怎样把脑活动变成扩散模型的条件图2原论文Figure 2PDF第3页从论文页面忠实裁剪未改动。来源ICLR 2026OpenReview KAAUvi4kpb。整个流程可以拆成四步。第一作者使用fsaverage表面空间中的fMRI数据并对同一图像的多次响应取平均。随后采用Schaefer皮层分区将每个半球划分为500个parcel。为了减少噪声只保留平均信噪比最高的脑区主实验每个半球取100个共200个parcel。第二不同parcel包含的皮层顶点数不同作者把顶点响应补齐到统一长度再为每个parcel配置独立的线性投影矩阵把它映射为768维token。这样一次fMRI观测就变成200个带有脑区身份的条件token而不是一个被压扁的全脑向量。第三模型以IP-Adapter方式改造Stable Diffusion 1.5 U-Net中的跨注意力层使图像空间query直接关注fMRI token生成的key和value。训练和推理时文本编码器都接收空输入训练中只更新parcel-wise mapper和新增的跨注意力模块Stable Diffusion其余参数冻结。第四为减轻小样本和脑区缺失敏感性作者引入fMRI token dropout每个样本先随机抽取r∼U(0,1)再以1-r的概率独立保留各parcel token。训练还采用Min-SNR loss weighting阈值γ5使困难的低信噪扩散时间步获得更平衡的梯度。模型训练300个epochbatch size为16每个模型使用2张NVIDIA L40 GPU约25小时。论文没有在正文中完整列出学习率、优化器以及NSD的精确训练/验证划分只说沿用标准预处理。代码已经公开但仅靠论文本身仍不足以完全复刻全部训练细节。3. 一个容易被忽略的环节生成8次再由脑编码器挑选图3原论文Figure 3PDF第5页从论文页面忠实裁剪未改动。来源ICLR 2026OpenReview KAAUvi4kpb。扩散模型具有随机性。同一份fMRI条件用不同随机种子生成结果质量可能差异很大。作者不是固定取第一张而是对每个候选图像使用whole-brain encoder预测其应诱发的顶点级fMRI再与真实测量做Pearson相关选择相关最高者。这一步很聪明选择标准不是“哪张更像原图”而是“哪张更符合测得的脑反应”。Table 10中候选数从1增至8时多数指标上升Table 11里最高相关候选的PixCorr为0.139随机候选为0.130最低相关候选为0.109。最高相关候选的AlexNet-2和CLIP两选一准确率也分别达到88.02%和93.01%。但它也改变了系统边界。最终输出不是单次NeuroAdapter采样而是“NeuroAdapter多次生成独立脑编码器排序”。所以评估时应同时报告单样本、随机选择和最佳选择避免把搜索预算带来的提升全部归功于解码器本身。另一个潜在问题是编码器与解码器使用同一fMRI-图像训练数据虽然测试图像独立二者仍可能共享数据偏好。4. 数据集与评价三个测试场景八种指标主数据集NSD是7T-fMRI自然场景数据共8名被试每人最多观看10,000幅来自MSCOCO的不同图像。论文主要比较完成全部扫描的4人即S1、S2、S5和S7消融实验通常只在S1上进行。模型按被试训练并未验证跨被试直接泛化。另外两组数据用于检查任务外推广。NSD-Imagery来自相同8名参与者每人576个trial包括真实观看和由字母提示的心理意象作者直接用NSD训练的模型测试它。Deeprecon则含5名被试、1200幅自然训练图像、50幅类别不重合的自然测试图和40幅人工形状每名被试共8000个脑样本。八项指标分成低层与高层PixCorr和SSIM关注像素与结构AlexNet第2/5层、Inception、CLIP使用两选一识别EfficientNet和SwAV使用特征距离数值越低越好。多指标是必要的因为更符合语义不代表像素更忠实生成模型尤其可能用强先验“猜对类别、猜错细节”。论文对原始fMRI采集参数、被试纳入标准和伦理审批没有重新展开而是复用公开数据并指向数据集论文。对BCI读者而言这意味着本文足以判断算法结构却不能替代NSD、NSD-Imagery和Deeprecon原始论文中的实验与伦理信息。5. 重建质量语义可辨但不是新的性能冠军图4原论文Figure 4PDF第7页从论文页面忠实裁剪未改动。来源ICLR 2026OpenReview KAAUvi4kpb。Figure 4显示冲浪者、花瓶、飞机、卧室、棒球、斑马和食物等大类别通常能保留。不同被试的输出会改变人物姿态、背景、物体数量或颜色说明模型恢复的更多是场景语义和粗结构而不是逐像素复制。它同时暴露出生成先验的作用重建往往“像一张合理的同类照片”未必忠实于原图的具体实例。图5原论文Figure 5PDF第9页从论文页面忠实裁剪未改动。来源ICLR 2026OpenReview KAAUvi4kpb。Table 1给出的绝对值比Figure 5的相对提升更容易判断位置。NeuroAdapter在NSD上的PixCorr为0.124、SSIM为0.307明显低于MindEye1的0.309和0.323也低于Brain Diffuser的0.254和0.356。高层指标为AlexNet-2 84.54%、AlexNet-5 93.48%、Inception 90.79%、CLIP 90.97%这些结果具有可用语义信息但也没有全面超过MindEye1、DREAM或MindFormer。因此论文使用“competitive”是合理的若写成“达到SOTA”则不符合数据。Figure 5(b)还提供一个重要解释Brain Diffuser的低层优势主要来自额外的VDVAE低层潜变量预测通路去掉该通路后它与NeuroAdapter在低层指标上接近。NeuroAdapter用部分像素性能换取了更直接、可解释的脑—生成接口这是设计取舍不是全面胜出。6. IBBI从同一个注意力矩阵看脑区与图像IBBI的关键对象是每个扩散时间步、每个U-Net层和注意力头产生的矩阵A。矩阵的行对应图像空间query列对应脑parcel token。作者沿两个方向聚合它。Brain-directed view对空间query、层和头求和得到每个时间步的parcel contribution vector。它回答“生成到这一阶段时注意力质量有多少分配给各脑区”。再把时间平均后的权重投影到皮层表面就得到Figure 6。图6原论文Figure 6PDF第9页从论文页面忠实裁剪未改动。来源ICLR 2026OpenReview KAAUvi4kpb。Image-directed view则选取属于Face、Body、Scene或Word ROI的parcel按图像空间query聚合注意力重排为二维网格再上采样到输出分辨率。它回答“某类脑区把注意力落在生成图像的哪里”。图7原论文Figure 7PDF第10页从论文页面忠实裁剪未改动。来源ICLR 2026OpenReview KAAUvi4kpb。Figure 7中早期注意力宽而模糊随着图像结构形成Face与Body逐渐集中在人形区域Scene偏向大范围背景Word靠近路牌。这种时间演化与扩散生成从布局到细节的过程相符。不过视觉上“看起来对”不够热力图容易诱发事后解释因此作者又做了空间定量与遮罩干预。7. 解释性验证有进步也有两个关键陷阱图8原论文Figure 13PDF第23页从论文页面忠实裁剪未改动。来源ICLR 2026OpenReview KAAUvi4kpb。作者在515张测试重建中找到236张含有效语义区域的图像Face 38张、Body 195张、Scene 27张、Word仅7张。将IBBI注意力二值化后与SAM3在生成图上的分割比较。相对“整幅图都被关注”的基线IBBI的Face IoU从0.124升至0.322Body从0.171升至0.362Word从0.199升至0.453Dice也分别从0.213、0.276、0.313升至0.459、0.504、0.595。Scene却从0.605降至0.198因为场景分割常覆盖大片背景全图基线天然占优。第一处陷阱是SAM3不是神经科学真值而是对生成图像的模型分割。该实验说明注意力位置与生成内容的语义区域一致却不能证明它还原了被试大脑中真实的信息流。第二处陷阱是有效样本经过筛选尤其Word只有7张论文也没有为这些IoU/Dice给出置信区间或被试层面的统计检验。数值支持定位能力但证据强度仍有限。图9原论文Figure 14PDF第24页从论文页面忠实裁剪未改动。来源ICLR 2026OpenReview KAAUvi4kpb。模型内干预更有说服力。S1的200个高SNR parcel中有103个能映射到功能标签50个属于V1-V4等低层视觉ROI53个属于Face、Body、Scene和Word等高层ROI。遮罩低层ROI后CLIP两选一准确率从92.03%降到74.20%遮罩高层ROI后降到50.37%接近机会水平PixCorr也从0.133降至0.019。视觉例子中高层遮罩常让语义对象彻底改变。这证明NeuroAdapter内部确实依赖高层ROI token维持语义但“causal perturbation”只在模型层面成立。一次性删除大量token会制造训练分布外输入性能崩溃可能包含缺失规模效应高层组53个、低层组50个虽接近却仍应配合随机parcel遮罩、等SNR匹配和多被试重复。它不能被直接写成“这些脑区因果地产生了相应视觉内容”。8. 消融实验告诉了我们什么最强的消融信号来自token dropout。没有它时S1的PixCorr从0.133降到0.038AlexNet-5从93.96%降到75.5%CLIP从92.03%降到64.8%只有SSIM从0.296轻微升到0.307。说明随机丢弃脑token抑制了模型对少数脑区组合的脆弱依赖显著改善语义解码。parcel数量不是越多越好。200个parcel时CLIP为92.03%500和1000个时分别降到88.66%和84.89%SNR筛选比盲目扩大输入更重要。parcel-wise独立映射也很关键去掉它后CLIP从92.03%降到78.11%说明保留区域身份优于简单共享映射。扩散步数从20到80时没有单调收益50步只是稳定折中。相比之下候选生成数量从1增至8带来持续收益。这一结果提醒后续工作采样预算和选择器常常比多跑扩散步骤更有效但论文比较必须统一候选数量否则容易把“多抽几次”误认为模型本身更强。9. 我对这篇论文的总体评价论文最扎实的地方不是重建图比别人更像而是把解释性设计进接口parcel对应脑区cross-attention连接脑token与图像queryIBBI可以沿两个方向聚合空间重合与ROI遮罩又为热力图补上定量和干预证据。代码、模型结构和计算资源也明确公开复现基础优于许多只展示图像的脑解码工作。它的边界同样清楚模型是被试特异的没有跨人泛化NSD响应先对重复图像平均不代表单试次在线解码强大的Stable Diffusion先验可能补出脑信号没有明确指定的细节最终结果还依赖脑编码器在多次采样中选择。解释性分析主要在S1上IBBI的空间真值由另一个视觉模型提供统计不确定性报告不足。更深一层看这篇工作提出了一个值得沿用的评估问题我们应当问“生成结果与脑信号有多忠实”而不只是“生成结果看起来多漂亮”。未来更强的实验应加入随机与等规模ROI遮罩、跨被试复现、单试次测试、注意力以外的归因方法以及对生成先验幻觉的显式不确定性估计。总结NeuroAdapter没有刷新所有视觉重建指标却建立了一个更透明的脑—扩散模型接口。它证明200个高SNR脑区token足以直接条件化Stable Diffusion并恢复较强语义同时展示Face、Body、Scene、Word等ROI在扩散时间轴上如何把注意力落到不同图像区域。读这篇论文时最重要的不是把注意力图当作大脑工作原理的照片而是把它视为一个可检验的模型假设。IBBI已经迈出从“漂亮重建”走向“解释生成依赖”的一步真正的神经机制结论还需要更严格的对照、跨被试证据和独立因果实验。参考资料与图片来源Feng P, Adeli H, Guo W, Cheng F, Hwang E, Kriegeskorte N.Towards Interpretable Visual Decoding with Attention to Brain Representations. ICLR 2026. OpenReview。作者在论文中给出的代码仓库kriegeskorte-lab/NeuroAdapter。本文9张图片均从原论文Figure 1–7、13、14所在PDF页面忠实裁剪没有生成、重绘、增强、拼接或添加标注。每张图的页码、裁剪范围与SHA-256记录在manifest.json中。