传统通信模式长期局限于视觉与听觉的二维信息交互,难以满足元宇宙、远程交互、智慧医疗等场景下的多元化体验需求。随着人机交互技术快速发展,融合触觉、嗅觉、味觉的**多感官沉浸式通信**,成为下一代交互技术的核心发展方向。
人体天然依靠多感官协同感知外界,单一视听信息存在体验割裂、沉浸感不足等问题。然而,多感官技术落地仍面临诸多瓶颈:各类生理感知信号微弱、采集难度大,多源数据体量庞大、传输成本高,不同感官信息存在耦合关联,传统独立处理方式效率低下。同时,柔性穿戴硬件、实时端侧运算与低功耗智能算法的不足,也限制了多感官交互的普及。因此,结合生物感知原理优化硬件设计、构建跨感官智能处理体系,具有重要研究价值与应用前景。
南京邮电大学党委常委、副校长、信息与通信工程流动站周亮教授团队以及中国人民解放军陆军工程大学Dan Wu等携手系统综述沉浸式多感官通信的关键技术体系,聚焦传感器、硬件设计与智能数据处理三大核心模块。文章首先剖析生物感知机理对人工传感器件的启发,总结高精度触觉、化学感官等新型传感器与反馈器件的设计思路,为高保真感官信号捕获与复现提供硬件支撑。
其次,文章重点论述多感官数据的处理框架,对比单感官独立处理与跨感官协同处理的差异,强调利用感官间内在关联,可有效优化数据压缩算法,提升信号传输效率与重建真实度。
最后,文章梳理了多感官通信的发展趋势,指出柔性可穿戴设备、本地端侧计算与轻量化人工智能的融合,是突破传输延迟、功耗限制的核心路径。该技术可广泛赋能远程医疗、虚拟娱乐、工业远程操控、沉浸式教育等场景,为全域沉浸式人机交互提供理论参考,助力多感官智能交互技术的规模化落地。
Gao, Y., Wu, D., Hou, B. et al. Advanced sensors for immersive multisensory communication. Nat. Sens. (2026). https://doi.org/10.1038/s44460-026-00061-z柔谷