生物体中的本征梯度控制着动态环境中的长期信息处理和持续学习。强化学习旨在模拟这种时间调控以提高学习效率和适应性。然而，现有忆阻器件缺乏本征梯度构建，导致随机和突发的状态变化，破坏了持续强化学习所需的时间相关内态的产生。在本工作中，通过分子配位层设计了一种包含稳定本征氧梯度的二阶忆阻器，实现了延长的动态势垒演化。这种慢动力学响应促进了单极尖峰刺激下氧离子的平衡迁移和扩散，导致了显著的电导调制。这些时间自适应的电导态被定量映射到强化学习算法中的学习率上，使得学习任务时间尺度与器件动力学共同演化。与传统策略相比，本征梯度驱动的调制在静态和动态环境中分别减少了68.75%和35.65%的训练迭代次数。这些发现强调了慢动力学二阶忆阻器作为物理接地的时间自适应单元，在神经形态系统中桥接器件动力学与算法学习的潜力。2026年3月3日，相关研究成果以“Intrinsic gradient oxygen-driven second-order memristors for continual reinforcement learning”为题发表在国际顶级期刊Nature Communications上（https://doi.org/10.1038/s41467-026-70014-0），南京邮电大学黄维院士、凌海峰教授、解令海教授为论文共同通讯作者。持续学习是人类的一项基本认知能力，使个体能够在一生中获取、完善和迁移知识和经验。这一复杂过程由复杂的体内电生理机制支撑，这些机制在细胞内外膜之间建立梯度，从而促进记忆巩固和提取过程。持续学习的重要性延伸到在动态环境中运行的人工智能系统，其中处理连续信息流的能力至关重要。强化学习算法被认为是在计算系统中实现持续学习最有前景的候选者之一。模仿生物基于离子信号处理的固态和流体离子忆阻器的出现，进一步推动了强化学习在这一领域的潜力。然而，持久的挑战依然存在，特别是在处理非平稳数据分布时，这常常导致收敛不稳定、非单调的性能和行为。忆阻器由于其非线性和动态离子行为，为模拟生物时间处理提供了有前景的平台。然而，现有忆阻器大多缺乏缓慢、可控的内态演化能力，这限制了它们在需要时间自适应学习的持续强化学习中的应用。研究人员报道了一种基于ZnTPP/ALD-AlOₓ异质结的二阶忆阻器，其中通过分子配位层引入了一个稳定的本征氧梯度。该梯度诱导了延长的势垒恢复动力学（>10²秒），使氧离子在单极尖峰刺激下实现平衡的迁移和扩散，产生显著的电导调制。这些时间自适应的电导态被定量映射到强化学习中的学习率，使得学习任务的时间尺度与器件动力学共同演化。在静态和动态环境中，本征梯度驱动的学习率调制分别将训练迭代次数减少了68.75%和35.65%，同时减轻了收敛振荡和局部最优问题。这项工作为设计具有慢动力学状态的二阶忆阻器建立了受生物启发的框架，为神经形态计算中的持续学习铺平了道路。
在传统强化学习中，智能体旨在发现最大化长期奖励的策略。然而，持续强化学习要求智能体在不遗忘先前知识的情况下持续适应。虽然学习率可以手动调节，但慢收敛和局部最优等问题仍然存在。通过利用器件级的时间依赖状态，学习率可以动态更新以支持持续适应。为了演示这一点，我们将持续强化学习模型应用于信号覆盖范围内自动驾驶车辆的最优路径规划任务。与传统方法线性调制相比，α_U-SVDP(p)将智能体的总训练回合减少了35.65%。在不同地图尺寸上的最优路径结果详细比较，证明了这种器件衍生的学习率调制的有效性。研究人员通过本征氧梯度展示了一种具有延长界面势垒演化的二阶忆阻器。ZnTPP的配位效应促进了增强的氧化物生长并诱导了空间氧浓度梯度。通过U-SVDP，氧漂移和扩散被平衡，将宽范围衰减过程（ΔG = -98.1%）重构为40多个PNV电导态。这些PNV态使二阶忆阻器能够保留持续学习所必需的时间相关内态。通过将PNV态映射到动态α，强化学习任务显示出68.75%的训练迭代减少，同时减轻了收敛振荡和局部最优。即使在动态环境中，与传统方法相比，本征梯度驱动的α仍然将训练回合减少了35.65%。这项工作为设计具有慢动态状态的二阶忆阻器建立了一个受生物启发的框架，为神经形态计算中的持续学习铺平了道路。论文揭示了ZnTPP分子与ALD-AlOₓ界面通过Zn-O配位键诱导的氧浓度梯度，以及该梯度如何在外电场下驱动氧离子的定向迁移和扩散，并在电场移除后通过本征梯度提供动力学缓冲，从而产生慢弛豫过程。这一机制不同于传统的氧空位细丝型忆阻器，实现了“快写-慢忘”的时间不对称性，天然适合模拟生物学习中的时间依赖记忆巩固。将这种慢电导演化映射为强化学习中的动态学习率——电导变化率对应于学习率的大小。与固定学习率或线性衰减学习率相比，这种器件衍生的非线性学习率调度在静态路径规划任务中将训练迭代减少了68.75%，在动态多阶段环境中减少了35.65%，同时显著抑制了收敛振荡和局部最优。该工作展示了“器件物理→算法性能”的直接映射，证明了通过材料-器件层面的本征梯度设计，可以物理地编码算法所需的时间自适应行为，为物理智能提供了一种新范式。这项工作为持续学习、自适应边缘智能以及需要长期时间依赖计算的神经形态系统开辟了新的硬件路径。
有望在以下领域产生重要应用：自适应边缘强化学习芯片，在资源受限的边缘设备（如无人机、机器人、自动驾驶汽车）中，环境动态变化，需要智能体持续学习新策略而不遗忘旧知识。该器件的慢电导演化可直接作为强化学习中的动态学习率，硬件实现自适应探索-利用平衡，无需复杂的外部调度算法，显著降低计算开销和能耗。移动机器人的持续路径规划，在仓库、工厂或家庭环境中，机器人需要应对不断变化的障碍物布局和任务目标。基于本征梯度的学习率调度使机器人能够快速适应新环境，同时保持对旧路径知识的稳定记忆，减少重复训练时间。个性化推荐系统中的在线学习，用户兴趣随时间动态演变，推荐系统需要持续更新模型。该器件的PNV多级电导态可作为用户兴趣随时间变化的物理编码，驱动动态学习率，实现更平滑、更高效的在线学习，减少灾难性遗忘。
10个月宝宝每天需要喝多少奶粉？
