南京大学Nature Electronics:稀疏神经网络—迈向低功耗AI新方案

为了解决这一问题，本文提出了一种存内稀疏（in-memory sparsity）架构，将稀疏信息尽可能贴近单个突触权重进行本地存储。该方法的优势体现在两个方面：第一，对突触或权重执行修剪与再生操作时，仅需原位调整稀疏信息，无需外部数据搬运；第二，存储的稀疏信息可直接参与计算，完全摆脱对外部索引的依赖。

1、设计原理：稀疏神经网络（SPNN）在数学上可表示为稀疏矩阵与权重矩阵的Hadamard积。每个单元由两个FeFET构成：一个存储二值稀疏信息（剪枝/激活），另一个存储模拟权重。剪枝时，小权重置零且对应稀疏FeFET写入高阻态（‘0’），单元退出乘累加运算；再生时，稀疏FeFET恢复低阻态（‘1’），权重更新重新使能。稀疏性 FeFET 大窗口、长保持，权重 FeFET 窄窗口、可多级更新，两者各司其职（图2b，2f）。

2、实验验证：基于CVD MoS2沟道与HZO铁电栅介质的25×18阵列（450单元）测试显示：99.11%器件开关比>10⁶，16级电导清晰可分，百次更新后电导变化仅0.05 μS，且85°C/125°C热稳定性良好。被剪枝单元因不贡献电导，推理能耗可降低4个数量级（图2g，2h）。

为充分发挥存内稀疏硬件的潜力，本文从算法与调度两个层面进行了协同优化他（图3f)。

 第一，向量近似更新（VAU）算法。针对传统逐单元更新在稀疏硬件上面临的“无差别更新能耗高、依赖片外索引开销大”两难问题，本文提出向量近似更新（VAU）算法。VAU以M+N次向量操作近似M×N次更新，利用本地稀疏信息实现无索引执行。稀疏度74.2%时近似误差降至0.06，且扰动助益收敛。结合伪交叉结构，功耗与延迟降低约M/N倍(图3d）。

第二，渐进式训练调度。现有方法多采用“训练—次剪枝—微调”的一次性剪枝策略，无法动态调整且易造成不可逆精度损失。受大脑终身动态修剪与再生机制启发，本文提出了渐进式调度：在预训练后，执行多轮剪枝、更新与再生迭代。相比一次性剪枝，渐进式调度能够通过后续训练持续释放零权重，在保持高精度的同时最大化稀疏度（图3e）。

基于融合硬件、算法与调度三方面创新，研究者实现了无索引稀疏神经网络的端到端训练。训练过程包含四个阶段：预训练、剪枝、过剪枝与再生。

预训练阶段（前10轮）：在计算机上完成，权重呈高斯分布。

剪枝阶段（第11–28轮）：执行四次渐进剪枝操作，稀疏度依次提升至52.3%、63.7%、66.8%和74.2%。每次剪枝后，采用VAU算法进行多轮训练。

过剪枝阶段（第29–37轮）：继续剪枝至86.9%，精度显著下降，损失景观变陡变窄，表明系统对扰动的鲁棒性降低，即使后续训练也无法恢复精度。

再生阶段（第38–57轮）：受大脑突触修复机制启发，根据梯度大小排序选择并再生权重。

为评估无索引SPNN的扩展性，研究者基于NeuroSim对VGG8-Net（1300万参数）进行仿真（图5c）。结果表明，本文提出的无索引SPNN相比传统依赖外部索引的稀疏SPNN（稠密网络）实现了27.5倍（10.3倍）延迟降低和13.6倍（9.2倍）能耗降低。

这一结果标志着稀疏性真正兑现了其物理承诺：更少的计算、更少的访存、更少的能量——三者兼得，而非以往以索引开销换取计算减少的零和博弈。