第一作者：Ziang Zhu
通讯作者：王瑾丰
通讯单位：南京大学
原文链接：https://pubs.acs.org/doi/10.1021/acs.est.5c15251

研究背景

污水处理厂的生物脱氮过程长期面临一个核心矛盾：进水水质水量时刻波动，而反应过程高度非线性、大滞后，传统依赖固定规则或经验的自动控制策略，往往只能在“保达标”和“降成本”之间艰难平衡。一旦遭遇暴雨或工业冲击，出水超标风险骤增，运行人员不得不采取保守甚至过度曝气的策略，造成不必要的能耗浪费。

强化学习（Reinforcement Learning, RL）作为人工智能领域“会学习的决策者”，理论上能够通过与环境的持续交互，自主摸索出最优控制策略。然而，这一技术的应用长期止步于计算机仿真——虚拟模型无法复现真实反应器中污泥沉降性变化、传感器漂移、设备响应延迟等复杂工况。更棘手的是，RL的决策过程像一只“黑箱”，工程师无从理解它为何在某时刻做出某操作，这严重阻碍了它在关系公共安全的市政基础设施中落地。

南京大学任洪强院士团队王瑾丰等人的这项研究，正是在上述双重困境中撕开了一道口子：他们让RL智能代理直接操控真实的物理生物反应器，并在各类冲击条件下证明其优于传统策略，同时给出了一套让“黑箱”变透明的解释方法。

核心突破：反应器与智能代理的实时闭环

研究团队构建了一套“反应器–智能代理一体化”系统。这不是仿真，而是将RL算法与一座实验室规模的AA′OA′（厌氧–缺氧–好氧–缺氧）生物反应器通过上位控制系统和PLC实时连接（图1）。

反应器以实际污水厂进水为原水，接种好氧池活性污泥，连续运行中实时监测COD、氨氮、总氮等关键指标。RL智能代理每收到一组状态数据，便输出一组控制指令——包括溶解氧（DO）设定值、内部混合液回流比（IMLR）、进水流量和碳源投加量——PLC执行后再回传新的状态数据，形成闭环迭代。

这意味着，RL代理面对的不是理想的数学模型，而是真实的、带噪声的、会波动的生物系统。它需要在“试错”中学习，而每一次“错”都直接反映在出水水质上。

效果验证：更快的恢复，更低的成本

为检验RL控制策略的真实抗冲击能力，研究者在进水端人为制造了流量峰值扰动，对比了三类策略的表现：静态设定、基于知识的传统控制、以及RL控制。

结果令人印象深刻：

• 氨氮控制：RL策略将出水氨氮稳定在约3.1 mg N L⁻¹，超标持续时间缩短15分钟。
• 总氮控制：RL策略实现了总氮“零超标”，将浓度压低至9.6 mg N L⁻¹。
• 综合效益：与传统知识控制相比，RL策略使出水质量指数（EQI）提升1.96%，同时运行成本指数降低36.55%，能耗指数降低19.56%。

值得注意的是，RL并非通过简单地“加强曝气”来压低氨氮——那会增加能耗。它学会的是协同调节DO和IMLR，在硝化与反硝化之间寻找动态平衡点，用更少的能量实现更好的脱氮。这是经验规则难以手工编程的“巧劲”。

解释“黑箱”：让AI的决策变得可审计

如果只是效果好却无法解释，工程师不会信任它。研究团队在此做了一项极具工程价值的工作：提出了一套连接算法智能与工艺透明性的分析框架。

具体手段包括：

• 代理决策树：将复杂的RL策略提炼为可读的“如果…则…”规则树，使决策路径可视化。
• Sobol灵敏度分析：量化各输入变量对控制决策的相对影响程度，识别关键驱动因子。
• 决策轨迹分析：在二维控制空间中绘制DO与IMLR的动态调整轨迹，观察系统如何趋近并维持最优区域（图4）。

分析揭示了一个关键区别（图3）：基础RL策略主要关注出水质量与成本指标，对进水流量变化的敏感性不足；而引入贝叶斯优化（RL+BO）后，智能代理对进水流量波动的响应显著增强，控制轨迹更加平滑、收敛更快。这恰好对应了实际运行中的核心挑战——污水厂最怕的就是进水“忽大忽小、忽浓忽淡”，能敏锐感知并平稳应对这种变化，才是智能控制的真正价值。

通过这些分析，RL策略不再是一个不可知的“黑箱”，而呈现为符合生物反应动力学和工艺控制原理的、可追溯、可审计的决策逻辑。

工程落地的现实距离

研究最后也清醒地指出了当前局限：

• 时间尺度：实验为短期测试，尚未涵盖污泥龄尺度的微生物群落演替对控制效果的长期影响。
• 规模鸿沟：实验室反应器到全规模污水厂，还需克服传感器噪声、通信延迟、设备故障容错等工程化难题。
• 角色定位：现阶段RL更适合作为“辅助决策工具”，为运行人员提供优化建议，而非完全替代人工判断。

但无论如何，这项研究完成了一次关键的概念验证：强化学习不仅在仿真中可行，在真实的、带噪声的物理生物反应器中同样有效，且其决策逻辑可以通过系统分析变得透明。 这为污水处理行业从“自动化”迈向“智能化”提供了坚实的实验基础与理论框架。

作者信息

任洪强 院士，南京大学环境学院教授，中国工程院院士，长期从事废水处理理论与技术研究。

王瑾丰（通讯作者），南京大学环境学院，研究方向为污水处理过程智能控制与优化。

Ziang Zhu（第一作者），南京大学环境学院。

论文引用：
Ziang Zhu, Jinfeng Wang, et al. Reinforcement Learning-Based Intelligent Control for Biological Nitrogen Removal: Reactor–Agent Integration, Performance Evaluation, and Interpretability Analysis. Environmental Science & Technology, 2025.
https://pubs.acs.org/doi/10.1021/acs.est.5c15251