超高清(UHD)成像技术飞速发展,已在众多领域得到广泛关注与应用。然而,在低光、雨天、雾霾等复杂恶劣环境下拍摄的超高清图像,往往会出现严重画质退化,极大影响使用效果。本文正是围绕超高清图像复原这一关键课题展开深入探索。
图 1 该方法与当前最优(SOTA)方法的视觉效果对比
近年来,深度学习技术取得显著成功,大量基于卷积神经网络(CNN)与 Transformer 的学习型方法被相继提出,用于应对图像复原难题。当前主流的顶尖方法大多通过搭建更复杂的网络结构提升性能,但面对超高清图像的超高分辨率、高密度像素特性,这些先进方案往往难以发挥理想效果。
为此,一批面向超高清图像复原的专用方法陆续问世。例如 LLformer 借助 Transformer 架构取得亮眼表现,却因计算成本过高,无法在边缘设备上高效完成全分辨率推理;UHDFour 通过 8 倍下采样降低分辨率,实现了端侧全分辨率推理;UHDformer 则提出校正 Transformer,用高分辨率特征引导低分辨率复原。尽管这些方法依靠下采样降低了计算量,但 “下采样–增强–上采样” 的固定范式,不可避免地造成图像关键信息丢失。再加上超高清图像本身分辨率极高、内容丰富、结构细节繁杂,现有方法很难兼顾高效性与复原质量。
图 2 核心研究动机。基于 (a)(b) 中的观测结果,研究团队将复杂的超高清图像复原问题解构为三个递进式阶段:零频增强、低频复原与高频精修。
为深度破解超高清图像复原难题,研究团队创新性地采用渐进式频域解耦思路,系统分析不同频率分量在复原过程中的作用。
研究人员首先通过离散余弦变换(DCT),将退化图像与真实清晰图映射到频域,并交换代表全局信息的(0,0)位置零频分量,再经逆离散余弦变换(IDCT)重建回空间域。结果显示,零频分量承载图像全局与平均特征,对复原初期效果起到决定性作用 —— 即便学会完美的非零频分量,也无法得到可接受的复原结果。
随后,研究团队逐步扩大交换的频域范围,进一步发现:填充低频分量可快速恢复图像主体结构与内容,注入高频信息则能精细优化纹理与细节。
基于以上关键发现,研究团队将复杂的超高清图像复原任务,解构为三个循序渐进的核心阶段:零频增强、低频复原、高频精修,分别负责学习全局映射、重建粗粒度主体内容、优化细粒度纹理细节。
依托这一全新思路,团队提出了ERR 创新框架,由三大协同工作的子网络构成:
零频增强器(ZFE):融入全局先验,专注强化图像全局信息;
低频复原器(LFR):进一步复原低频信息,重点重建图像主体内容;
高频精修器(HFR):搭载团队自研的频窗型柯尔莫哥洛夫 - 阿诺德网络(FW-KAN),精细打磨图像细节与纹理。
为进一步提升性能,研究团队还为零频增强器设计了全局感知 Transformer 模块(GPTB),更高效地捕捉全局特征;为高频精修器定制 FW-KAN,专门强化细粒度信息还原能力,显著提升图像质感与清晰度。
大量对比实验表明,ERR 框架在多项超高清复原任务中,性能显著超越以往所有专用方法;充分的消融实验也逐一验证了各设计模块的有效性。
图 3 所提ERR 方法整体框架。基于渐进式频域分析思路,ERR 由三个协同工作的子网络构成:零频增强器(ZFE)、低频复原器(LFR)、高频精修器(HFR)。