南京邮电大学周亮最新Nat. Sens.综述:面向Multisensory多感官通信的先进传感器技术
【摘要】
传统的单一视听网络已无法满足远程医疗、工业控制及沉浸式社交中对实时多感官（视觉、触觉、听觉、味觉、嗅觉）反馈的迫切需求。为了应对这一挑战，沉浸式多感觉通信应运而生。2026年4月27日，南京邮电大学周亮教授，中国人民解放军陆军工程大学吴丹等人分析了生物感知机制如何启发传感和反馈硬件的设计，从而实现高保真的数据获取和逼真的感官反馈。作为多感觉交互的核心，智能感官数据处理（涵盖源端用于压缩的编码和目的端用于重建的解码）构成了传递感官体验的基础。研究人员强调，从单感官处理向利用感官间相关性的跨感官数据处理转变，是进一步提高压缩效率和信号重建质量的关键。展望未来，柔性可穿戴设备、端侧计算与低功耗人工智能（AI）的深度融合，必将开启沉浸式多感觉通信的新纪元，彻底改变人类的生活方式。
【正文内容】
图1 | 多感觉交互技术。 a, 触觉传导机制。b, 触觉传感器，包括压阻式力传感器和基于光学的GelSight。c, 皮肤集成多模态触觉界面，用于机械、电触觉和热反馈。d, 嗅觉传导机制。e, 用于嗅觉传感器的多传感器阵列。f, 可穿戴嗅觉反馈界面，通过加热散发气味的石蜡工作。g, 味觉传导机制。h, 基于电化学机制的味觉传感器。i, 基于电学的味觉界面。图1表明，多感觉交互技术的硬件设计深受人类生物感知机制的启发。对于触觉感知，分布在皮肤中的各种机械感受器和热感受器启发了电容式、压阻式、压电式乃至光学（如GelSight）等多种触觉传感器的研发；而在反馈端，多模态界面将热电元件、电极和微型机械执行器整合在柔性薄膜内，以重现复杂的触感。嗅觉作为一种依赖化学相互作用的感官，需要利用包含金属氧化物或压电晶体材料的传感器阵列来模拟人类多样的嗅觉受体，并通过气流分配、雾化器或加热散发性固体石蜡来实现随需应变的气味释放。与嗅觉类似，味觉依赖于舌头受体与溶液化学物质的接触，仿生味觉传感器大多采用人工脂质膜或人类味蕾受体细胞作为传感核心，并通过化学物质混合释放或向舌头施加特定频率的电信号与热刺激来唤起五种基本味道。图2 | 单感官数据处理。 a, 使用CNN和GAN进行的像素级视频编码和解码。b, 音频和触觉信号的编码与解码，图例展示了通过自编码器模型处理的触觉信号。c, 受到生物决策启发的嗅觉和味觉信号编码与解码，图例展示了基于主成分分析和人工神经网络(ANN)的气味识别。d, 基于分子结构表示的嗅觉信号编码与解码，使用图神经网络(GNN)处理分子图以提取与气味相关的嵌入。 图2表明，为了实现全感官通信，源端必须进行高效的数据编码以削减冗余，而接收端则需进行解码以实现高保真重现。对于视觉数据，卷积神经网络（CNN）模仿了视网膜感受野的多尺度信息整合能力，被广泛用于空间压缩；随后，生成式对抗网络（GAN）在目的端实现超高保真的像素级还原。音频与触觉属于时序波形信号，现有技术普遍采用自编码器等模型提取紧凑的潜在特征，并结合结构相似性指数等感知损失函数来滤除人类感知频率之外的无效数据。相比之下，嗅觉和味觉数据极为高维。它们的编码往往需要借助主成分分析对传感器响应矩阵进行降维，或运用图神经网络（GNN）深度挖掘化学分子图中的气味嵌入特征；解码阶段则更侧重以决策为导向，利用经典机器学习或人工神经网络实现精准的气味与味道识别分类。图3 | 跨感官数据处理。 a, 远程材料感知场景的描述。在主域，操作员通过无线网络使用Touch X控制器操纵从域的机械臂。同时，力传感器和视觉相机收集触觉和视觉感官数据并传回主域。b, 用于重建视觉和触觉感官数据的跨感官解码模型架构。c, 跨感官解码性能的定性和定量结果对比。左侧面板显示了部分材料的视觉与触觉重建波形，右侧为九种材质类别的量化评价（以峰值信噪比和时空结构相似度指数作为标准）。图3表明，自然界中的多种感官输入往往存在互补性和信息重叠（例如看到醋的颜色并同时闻到酸味），跨感官数据处理恰恰利用了这一相关性来突破单一感官编解码的性能极限。相较于仅汇总输出的传统融合方式，前沿的AI算法能够实现更深度的“特征级融合”。这包括利用基于Transformer和GNN的跨注意力机制计算特征权重，或者在对比学习的指导下构建映射各模态特征的“共享语义空间”。在一个远程操控和材料感知的验证实验中，通过在边缘服务器部署构建了共享语义空间的跨感官解码模块，系统成功实现了视触觉数据的协同融合。量化结果证实，采用跨感官协同处理后，视觉图像与触觉反馈的重建质量比传统单通道处理分别提高了6.51%和11.45%。【总结与展望】
多感觉通信正从传统的单一视听传输跨向融合触觉、嗅觉和味觉的综合性新范式。先进传感器硬件与人工智能驱动的数据处理技术的融合，预示着医疗保健、工业控制、娱乐游戏及虚拟教育领域即将迎来一场“身临其境”的体验革命。 然而，实现大规模的沉浸式全感觉互动仍需跨越若干技术挑战。首先，当前的嗅觉和味觉接口依然难以做到微型化和极低功耗。未来需要新材料科学（如柔性可拉伸电子和自供电摩擦电材料）与端侧轻量化AI计算的深度结合来提升设备的佩戴舒适度和能效。其次，嗅觉和味觉领域严重缺乏标准化的开源数据集，这阻碍了AI模型的训练；学术界需尽快推动数据标准化，并应用小样本学习或跨模态迁移学习算法来缓解数据稀缺问题。此外，由于化学分子的扩散速度慢且浓度容易衰减，传统的空气流无线嗅觉传输难以满足低延迟要求；一种有希望的解决途径是引入“语义通信”，即在网络中仅传输由AI提取的“气味语义特征”，而非真实的分子束。最后，如何协调容忍度极高的视觉流（约100 ms延迟）与极度敏感的触觉流（低于10 ms延迟）之间的严格时序同步，仍是一大难题，利用生成式AI进行主动预测以消除缓冲延迟，将成为未来极具潜力的研究方向。文章信息：Gao, Y., Wu, D., Hou, B. et al. Advanced sensors for immersive multisensory communication. Nat. Sens. (2026).文章链接：https://doi.org/10.1038/s44460-026-00061-z
