南京大学缪峰最新Nat. Commun.:基于石墨烯/Si异质结横向光伏效应的感内类视网膜传感器
【摘要】
实时感知动态视觉场景需要高效提取时空特征。然而，传统的 CMOS 图像传感器由于像素间相互独立，无法捕捉像素间的相关性，导致数据传输冗余、高功耗和高延迟。2026年4月22日，南京大学缪峰教授、梁世军教授，东南大学王文辉副研究员等人提出了一种非像素化的感内类视网膜传感器（IMRS）。该传感器基于大面积石墨烯/硅异质结，利用光生载流子的内在时空动力学和横向光伏效应，将入射的光学图案直接转换为空间载流子分布，并编码为与物体形状相关的光电压信号。这种设计模拟了生物视网膜的“侧抑制”机制，无需图像重建即可实现感内时空感知。实验结果显示，该系统在将原始视觉数据从 10,000 字节压缩至 48 字节的同时，仍能以超过 98% 的准确率识别复杂的人体动作，并将后端神经网络参数降低了两个数量级。
【正文内容】
图1 | 感内类视网膜计算的概念与原理。(a) 视网膜中的侧抑制增强空间感知：锥体细胞根据光强释放谷氨酸，水平细胞通过减少周围锥体细胞的谷氨酸释放介导侧抑制，从而增强对比度。(b) IMRS 的结构与工作模式示意图：由 N 型硅衬底上的石墨烯/P 型硅异质结构成，四周环绕 12 个电极，底部面板展示了载流子的垂直激发与横向传输过程。(c) IMRS 有效区域内的载流子密度映射。(d) 非像素化时空特征提取：每帧仅需 12 个电压值即可简化几何感知。图1中，受生物视网膜侧抑制启发，利用石墨烯/硅异质结中的横向光伏效应来实现类视网膜功能。当光学图案投射到传感器上时，光生载流子从照射区域向外输运，其空间分布状态直接耦合了图案的形状和位置信息。这种非像素化的设计仅通过 12 个环形分布的采样电极，就能将复杂的动态序列转化为“空间信息多边形”（SIP），极大地降低了数据复杂度。图2 | IMRS 中横向光伏效应驱动的时空载流子动力学。(a) 载流子分布表征装置：包括瞬态反射显微镜和位置相关光电压测量。(b) IMRS 的位置相关光电压响应：光点越靠近电极，电压信号越强。(c) 归一化比率参数与光照位置呈线性关系。(d) IMRS 中心区域 2D 相对反射率变化的演化过程。(e) 高斯峰的劈裂变换过程：由横向光伏效应的漂移电场引起。(f) 在 0、700 和 1100 ps 时的代表性反射率分布曲线。(g) 峰值位置随时间的变化：拟合得出载流子漂移速度为 5.98 × 10² m/s。 图2中，通过瞬态反射显微镜技术，直观观察到了载流子的输运动力学。实验发现，载流子分布经历了从高斯峰到双峰劈裂的演化，这揭示了扩散（浓度梯度驱动）与漂移（横向电场驱动）过程的共存。这种非平衡载流子输运的非线性叠加是解析复杂多点分布的关键，使传感器能够以约 3000 Hz 的理论帧率快速响应，远超传统的像素阵列系统。图3 | 利用 IMRS 映射与区分人体动作。(a) 人体姿态感知原理验证：通过全局曝光和 12 路电压输出实现几何感知。(b) 对应“跳跃”姿态的投影光点强度分布。(c) IMRS 中叠加的相对反射率变化：显示载流子密度分布与物体的空间取向及形状紧密对齐。(d-e) 使用空间信息多边形（SIP）进行几何感知和姿态分类的定量分析协议：从 SIP 的质心角、质心距离和顶点距离中提取趋向及形状特征，构建 2D 特征平面进行分类。图3表明，IMRS 能够利用载流子的内在动力学直接分辨空间信息。通过将 12 路电压信号在极坐标中表示，形成的 SIP 多边形几何形状直接编码了物体的投影轮廓。研究定义了趋向相关参数（如质心位置）和形状相关参数，通过 t-SNE 降维算法，将高维的时空特征映射到 2D 平面上，成功实现了对站立、行走、奔跑、跳跃、踢腿和投掷等动作的精准分类 。图4 | IMRS 结合循环神经网络（RNN）的人体动作序列识别。(a) 动作序列感知实例：包括原始场景和对应的几何多边形序列。(b) 不同类型动作的聚类图。(c-d) 通过 RNN 进行动作识别：处理包含 5 帧的动作序列，最高分类向量对应预测类别。(e) 识别准确率对电极数量的依赖关系。(f-g) IMRS 与传统图像传感器的效率对比：传统传感器在高分辨率下才具备高准确率，而 IMRS 仅需 48 字节数据和 5k 个参数即可达到同等甚至更高性能。图4表明，当电极数量达到 12 个时，IMRS 的动作识别准确率趋于饱和并超过 98%。与传统 CMOS 传感器相比，IMRS 表现出巨大的性能优势：单帧数据量仅为 48 字节，比 100 × 100 分辨率的传统图像缩小了 200 倍以上。由于输入维度大幅降低，后端 RNN 网络的参数量从 64.5 万个骤减至约 5000 个，实现了两个数量级的参数压缩。此外，该系统支持无偏压自供电运行，且对环境亮度和图像清晰度具有更强的鲁棒性。【总结与展望】
该研究报告了一种基于石墨烯/硅异质结横向光伏效应的感内类视网膜传感器。通过利用载流子的扩散与漂移过程，该非像素化传感器能够生成形状相关的光电压信号，从而高效编码人体动作的时空特征。IMRS 在保持 98% 以上识别准确率的同时，实现了惊人的数据压缩和网络轻量化，解决了传统视觉技术在资源受限的边缘端所面临的高功耗和高延迟挑战。这种从材料物理动力学出发的“感知-计算”协同设计方案，为开发更高效、更具适应性的智能视觉系统提供了极具启发性的思路。文章信息：Liu, K., Wang, P., Zhou, T. et al. Non-pixelated in-materia retinomorphic sensor via photocarrier dynamics for precise spatiotemporal perception. Nat Commun (2026).文章链接：https://doi.org/10.1038/s41467-026-72104-5
