当前位置：首页>南京>南京大学脑机接口研究院关于跨受试者fMRI视觉解码工作被国际顶级会议IEEE CVPR 2026收录

南京大学脑机接口研究院关于跨受试者fMRI视觉解码工作被国际顶级会议IEEE CVPR 2026收录

2026-04-17 13:48:15

近日，南京大学脑机接口研究院关于跨受试者fMRI视觉解码工作 “DUALA: Dual-level Alignment of Subjects and Stimuli for Cross-Subject fMRI Decoding” 已被人工智能领域国际顶级会议CVPR 2026录用。该工作聚焦脑机接口技术应用过程中“新受试者采集数据昂贵且难以规模化采集”的核心痛点，旨在仅依赖极少量新受试者fMRI数据的前提下，保证生成相对稳定且高精度的跨受试者视觉解码。

研究背景

fMRI 视觉解码的挑战

fMRI 视觉解码旨在从脑活动中重建或识别视觉刺激，是理解人类视觉表征机制、推动脑机接口应用的重要方向之一。近年来，随着CLIP、扩散模型等基础模型的引入，单受试者解码取得显著进展，但跨受试者泛化仍面临严峻挑战：

1）不同受试者在脑结构与功能表征上存在显著的个体差异，导致同一解码模型难以直接迁移；

2）为每位新受试者采集大规模高质量fMRI数据成本高昂，限制了真实应用中的可扩展性。

研究方法

现有方案的不足

课题组进一步观察到，现有跨受试者方案在预训练阶段表现良好，但在对新受试者进行适应微调时，容易破坏原有的语义结构，使得类别边界变得模糊，从而导致检索与重建性能明显下降。

DUALA框架的提出

为解决上述问题，团队提出了一个双层对齐的跨被试解码框架DUALA，通过刺激层语义对齐与受试者层分布对齐来提升跨受试者迁移的稳定性与有效性。具体地，一方面通过刺激层的语义约束与关系一致性约束，在不同受试者之间保持类别语义几何结构稳定。另一方面，通过受试者层的分布扰动机制，利用源受试者的统计信息引导新受试者表征对齐，从而在适配个体差异的同时抑制过拟合风险。

通过结合刺激层一致性和被试层对齐，Duala能够在适应个体差异的同时保留语义结构，从而实现鲁棒且泛化的跨被试解码。下图展示了fMRI信号重建的图像示例。与以往方法相比，课题组所提出方法能够生成更准确反映刺激物语义类别的图像，有效减少误分类和跨类别混淆。

研究成果与作者信息

会议信息

CVPR 2026将于今年6月在美国丹佛举行。CVPR（计算机视觉与模式识别会议，IEEE Conference on Computer Vision and Pattern Recognition）是人工智能、计算机视觉和模式识别领域的顶级会议，被中国计算机学会推荐为A类会议。

论文信息

论文信息：

Shumeng Li, et. al.. Duala: Dual-level Alignment of Subjects and Stimuli for Cross-Subject fMRI Decoding. The IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2026.

论文代码链接：https://github.com/ShumengLI/Duala

END

南京大学脑机接口研究院

南京大学脑机接口研究院（下称“研究院”），由南京大学、南京大学医学院附属鼓楼医院及南京市鼓楼区人民政府三方携手共建，南京大学党委常委、常务副校长，中国科学院院士郑海荣出任院长。研究院聚集了南京大学电子科学与工程学院、人工智能学院、物理学院、医学院等9个学院的相关师资力量，聚焦无创脑机接口领域重大科学问题，解决当前制约我国在该领域发展的关键“卡脖子”技术难题，推动我国脑机接口技术实现从跟跑到并跑、再到领跑的战略性转变。

来源：南京大学脑机接口研究院

编辑：陈景祎

校对：陈欣

审核：刘宇