南京邮电大学周亮教授发表Nature Communications:新型可穿戴避障设备为视障人群出行保驾护航
2025 年 3 月,一项面向视障人群的可穿戴避障技术突破性成果在国际顶级学术期刊《Nature Communications》在线发表。由南京邮电大学周亮教授领衔,联合陆军工程大学等机构研究人员组成的团队,成功研发出一款基于跨模态学习的可穿戴避障设备(WOAD),该设备同时满足高可靠性、快速响应、长续航与高易用性四大核心需求,为全球超 10 亿视障人群的安全独立出行提供了全新技术方案。1. 全球视障人群出行困境亟待技术破局
世界卫生组织统计数据显示,全球有超 10 亿人存在视力障碍或失明问题,障碍物带来的出行安全隐患,严重阻碍了这一群体的日常独立活动。相关调查数据显示,近 40% 的视障人群每年至少会遭遇一次严重的碰撞伤害,而在中国 1700 万视障人群中,可用的导盲犬仅有约 200 只,传统白手杖又难以对突发障碍物做出实时响应,视障人群的安全出行需求长期未能得到充分满足。基于美国全国盲人联合会的统计数据与视障群体的实地调研,研究团队明确了理想可穿戴避障设备的四大核心准则:响应速度上,端到端延迟需不超过 320ms;可靠性上,需实现 100% 的避障率;续航能力上,需满足 5-8 小时的日常使用需求;易用性上,设备重量需不超过 500 克。但现有市售产品与技术方案均无法同时满足这四项要求,其短板主要集中在三个方面:单一类型传感器易受环境影响,场景适应性不足;原始数据直传或板端处理模式,难以平衡延迟与便携性;低功耗处理器算力不足,高性能处理器又存在续航短板。2. 软硬件协同创新破解核心技术瓶颈
该款可穿戴避障设备采用 “自研眼镜终端 + 通用智能手机” 的分体式架构,从软硬件协同设计层面突破了现有技术的瓶颈。眼镜端整机重量仅约 400 克,其中电池重量约 80 克,优于行业 500 克的重量上限标准,内部集成了红外相机与飞行时间(TOF)雷达组成的多模态传感器,可同步采集视频与深度两类环境数据;同时搭载了团队定制的 FPGA 计算单元,首创多浮点向量单元(MFVU)流处理架构,实现了深度辅助的视频压缩模块,视频压缩比超过 95%,在大幅降低数据传输延迟的同时,完全保障了障碍物检测的可靠性。在智能手机端,团队设计了轻量化的跨模态障碍物检测模块。不同于传统设备结果级的多模态融合方式,该模块基于 Transformer 块与模态间注意力机制,充分挖掘视频与深度模态的内在相关性,在特征层级实现了不同粒度的对齐、融合与互补,从根本上规避了传统融合方案的 “木桶效应”。该模块以 YOLOv5 为基础模型,总参数量仅 7.5M,相比传统 YOLOv5 仅增加约 6.6% 的参数量,可在普通智能手机上流畅运行;同时配套设计了听觉 + 触觉的多感官告警机制,通过振动电机的空间位置与频率传递障碍物的方向、距离,通过听觉信号传递危险等级,在降低用户认知负荷的同时,保障了嘈杂环境下的预警有效性。3. 多场景实测验证核心性能全面达标
为验证设备的实际应用效果,研究团队邀请 12 名视障志愿者,开展了为期 7 个月的持续使用测试,覆盖室内密集障碍物、视觉盲区突发障碍物、上下楼梯,以及室外积雪街道、夜间低能见度路口、无红绿灯繁忙路口等典型场景,累计完成 720 组试验。测试结果显示,在室内场景中,针对 1 米范围内突然出现、移动速度超 3m/s 的行人,该设备实现了 100% 的避障率,而传统白手杖对这类突发障碍物的避障率仅为 26%;同时,志愿者使用该设备后,步行速度最高提升 24.5%,步行时间最多缩短 35.5%,行走轨迹也更为平滑流畅。全场景测试中,该设备的核心性能指标均达到并超出了行业预设标准。其端到端延迟始终低于 320ms 的安全阈值,运行模式下功耗不超过 4W,相比行业 8W 的功耗基准实现了 56% 的功耗节省,连续工作续航时长可达约 11 小时,远超视障辅助电子设备 5-8 小时的常规续航要求。即便是面对夜间能见度不足 50 米、行驶速度超 10m/s 的机动车,设备仍保持 100% 的避障率;在环境噪音超 53dB 的街道、超 38dB 的商场中,多感官告警机制仍能稳定、有效地向用户传递预警信息。4. 用户广泛认可奠定产业化应用基础
研究团队针对 8 名拥有丰富白手杖、导盲犬使用经验的视障志愿者,开展了覆盖 26 项问题的专项用户调研。结果显示,该设备的系统可用性量表(SUS)得分达到 83.75 分,在可靠性、响应速度、续航能力三大核心维度的用户评分,均显著优于传统白手杖。其中,设备 11 小时的续航能力获得了 4.625 分的平均评分(满分 5 分),针对快速移动与突发障碍物的响应能力评分达 4.25 分,志愿者普遍认可该设备能够有效提升出行的步行速度与安全保障。除了视障人群出行辅助领域,该设备的核心技术方案还具备广阔的拓展应用空间。其提出的 “端边协同学习 + 板载硬件设计” 的技术路径,能够为微型无人机、小型机器人等算力与功耗受限的设备,提供低功耗快速自主决策的解决方案,可进一步拓展至应急搜救、高海拔环境监测、危险区域勘察等场景。未来可以依托柔性电子技术与多学科交叉研究,进一步优化设备的外观与体积,将其升级为更时尚、紧凑的墨镜形态,集成更小型化、柔性化的电路与计算单元,进一步提升设备的用户接受度与社会融入性。图 1|可穿戴避障设备(WOAD)在四种典型室内外场景下测试视频的其中一帧画面。这些场景包括室外雪地环境、室外夜间十字路口、室内商场以及室内楼梯。该视频包含五个窗口,具体如下:第一个窗口由第三人称摄像机拍摄,展示避障行为细节;第二个窗口显示导航信息;第三个窗口可视化呈现眼镜的实时功耗;第四个窗口展示由飞行时间(TOF)雷达采集的深度信号及障碍物检测结果;第五个窗口显示由红外(IR)相机采集的视频信号。测试期间,所有观看视频链接(https://watch.wave.video/49YvNrOXukHljCyw)的参与者均可自主选择是否配合白手杖使用该可穿戴避障设备。图 2|可穿戴避障设备(WOAD)的软硬件协同设计。a. 一套 WOAD 眼镜的硬件组成b. WOAD 的详细实现流程c. 跨模态障碍物检测模块的网络结构d. 现场可编程门阵列(FPGA)板与多浮点向量单元(MFVU)流处理架构。眼镜通过无线通信,将红外(IR)与飞行时间(TOF)传感器采集的多模态数据传输至智能手机。智能手机负责执行障碍物检测计算,检测结果被回传至耳机与眼镜,以实现多感官告警。网络结构说明:每个浮点向量单元(FVU)处理两路输入,每个 MFVU 处理四路输入。所用 FPGA 芯片型号为 XC7A35T‑1FTG256C。我们通过以下示例说明数据流的优化方式。
图 3|室内避障实验。a. 室内测试场景及分别使用可穿戴避障设备(WOAD)与白手杖时的行走轨迹可视化。红色虚线圆圈标注出白手杖使用过程中出现的九次突然方向改变。b. 不同场景下的视频帧序列及典型检测结果。前三列视频帧由第三人称摄像机拍摄,第四列典型检测结果由跨模态障碍物检测模块输出。c–e. 基于行走速度、时间与距离的移动能力评估。采用双侧方差分析(ANOVA)评估两种设备的差异显著性,图中标注了具体 p 值。箱线图展示均值(方形)、中位数(中心线)、第一四分位数与第三四分位数(箱体),以及须线(分别延伸至第一、第三四分位数 1.5 倍四分位距处)(样本量 n=120,12 名受试者各重复 10 次实验)。源数据见论文正文。f. 两种设备的避障率对比。WOAD 在三种场景中均保持 100% 避障率,在场景 1 与场景 2 中分别实现 8% 和 74% 的显著性能提升。g. WOAD 的端到端(E2E)延迟。相较于 320 毫秒的端到端延迟要求,WOAD 在三种场景中分别实现 8.4%、10.6% 与 1.6% 的延迟降低。h. 待机模式与运行模式下的功耗。运行模式下,WOAD 功耗约为 3.5 瓦。实线(均值)的阴影区域代表误差棒(标准差)。每种场景重复 3 次实验(n=3)。

图 4|室外避障实验。a. 室外测试场景及分别使用可穿戴避障设备(WOAD)与白手杖时的行走轨迹可视化。在接近移动的行人与自行车时,WOAD 引导的黄色轨迹行进更为顺畅,而白手杖对应的蓝色轨迹出现五次突然的方向改变(详见红色虚线圆圈标注)。b. 视频帧序列及典型检测结果。前三列视频帧由第三人称摄像机拍摄,第四列的典型检测结果由跨模态障碍物检测模块输出。c–e. 基于行走速度、时间与距离的移动能力评估。采用双侧方差分析(ANOVA)评估两种设备的差异显著性,图中标注了具体 p 值。箱线图展示均值(方形)、中位数(中心线)、第一四分位数与第三四分位数(箱体),须线分别延伸至第一、第三四分位数 1.5 倍四分位距处(样本量 n=120,12 名受试者各重复 10 次实验)。源数据见论文正文。f. 避障率对比。WOAD 在四种场景中均表现出强鲁棒性,分别实现 28%、27%、59% 与 60% 的显著提升。g. WOAD 的端到端(E2E)延迟。在四种场景中,WOAD 分别实现 11.6%、13.8%、6.3% 与 15.6% 的延迟降低。h. 待机模式与运行模式下的功耗。相较于功耗要求,WOAD 在运行模式下节电约 56%。实线(均值)的阴影区域代表误差棒(标准差)。每种场景重复 3 次实验(n=3)。
原文链接:https://doi.org/10.1038/s41467-025-58085-x公众号可进行XPS,XRD,SEM,原位TEM,傅里叶红外,力学,电学,生物测试等表征测试与分析;光电器件,柔性电子器件等器件的COMSOL仿真分析;人工智能算法复现;薄膜晶体管、光电器件功能层的制备及其器件掩模板的设计与实现。本公众号发布的所有内容(含文字、图片、视频、音频、设计素材等),若涉及侵权,请及时与我们联系,我们将第一时间处理删除。我们始终尊重知识产权,严格恪守《中华人民共和国著作权法》及相关法律法规,全力维护健康有序的内容创作生态。欢迎大家投稿和私信,联系邮箱:aida2077@163.com