随着智能制造、工业检测等领域的快速发展，对高精度实时三维成像技术的需求日益迫切。条纹投影轮廓术（Fringe Projection Profilometry, FPP）凭借其非接触、高效和高精度等优势，成为三维测量领域的重要技术手段。近年来，深度学习技术的引入为单帧条纹图像的高精度相位恢复提供了新思路，在保证测量精度的前提下，提升了三维重建效率，将三维成像速度推至了成像器件帧率的理论极限。尽管如此，当面对未知的成像系统或测试环境（如参数不同的测量系统、不同环境光照环境等情况）时，深度学习模型的性能往往显著下降。这一问题的核心在于，现有方法通常假设训练数据与测试数据具有相同的分布特征（即来自相同参数的系统和环境），而实际复杂系统与环境的多样性打破了这一前提假设。如何赋予深度学习模型跨域处理不同来源数据的能力，从而实现稳定可靠的三维重建，已成为当前亟需解决的关键难题。
针对现有深度学习条纹投影三维重建方法在未知系统与环境下性能衰退的问题，南京理工大学陈钱、左超教授团队提出了一种基于多专家协作机制的跨域自适应深度学习三维成像方法。本方法与DeepSeek大模型一样，采用了Mixture-of-Experts（MoE）混合专家架构，通过集成多个专注于不同条纹特征的专家模型，并动态加权汇总各专家输出，从而显著提升了三维重建的精度与鲁棒性。跨域学习策略使得模型能够在不同系统参数和环境下自适应进行相位恢复，增强了模型的泛化能力。实验表明，该方法在处理未见过系统和复杂光照环境下的三维成像任务时展现了优异的性能。相关研究成果以“Adaptive Structured‐Light 3D Surface Imaging with Cross‐Domain Learning”为题发表在Laser & Photonics Reviews期刊，并被选为2025年6月封面论文。本文第一作者为硕士生李鑫胜，通讯作者为冯世杰教授、陈钱教授及左超教授。
为突破深度学习模型在跨域场景中的泛化瓶颈，本研究提出如图1所示的跨域学习框架（Cross-domain Learning, CDL）。该框架通过动态合成网络结构，使模型能够自适应不同成像系统与环境条件。其核心由两大模块构成：混合专家网络（MoE）与门控神经网络（Gating Neural Network, GNN）。在具体实现中，MoE模块包含多个并行专家网络，每个专家通过大量数据训练，专门掌握特定场景（如不同光照条件、系统参数）下的条纹图像分析能力。门控网络GNN则如同智能调度中枢，实时分析输入条纹图像的特征，动态调整各专家网络的权重占比。这种“分而治之”的策略，使得模型在处理未知环境数据时，能自动融合最相关专家的特征提取能力。当输入待测条纹图像后，CDL框架首先通过门控网络生成权重分布，随后将多个专家网络的输出特征进行加权融合，最终通过反正切函数解析出高精度相位信息。这种动态合成机制赋予了模型“举一反三”的能力，即使面对训练数据中未出现的新系统、新环境，也能通过特征组合实现稳定重建。
图1：跨域学习框架设计原理与工作流程图
在实验中，研究人员构建了一个由三个专家网络组成的跨域学习框架（CDL），以验证所提出方法的有效性，并采用自监督策略对专家网络进行预训练。如图2所示，专家网络基于Res-UNet架构设计，并在预训练阶段采用去噪自编码器方法，即通过训练网络去除条纹图像中人为添加的噪声，引导模型学习图像中的深层次特征表示。为进行对比，研究人员还构建了两个对照模型：基线网络（Baseline model）和通才网络（Generalist model）。基线网络在结构上与专家网络一致，但仅在训练过程中接触来自特定系统或特定环境的条纹图像，缺乏跨域信息。而通才网络同样采用与专家网络相同的结构，其训练过程是一次性学习了所有来自不同系统与环境的条纹图像，其训练数据域与跨域学习框架一致，旨在评估在无专家协同机制下的模型性能表现。
图2：专家网络结构以及自监督训练过程示意图
为验证跨域学习框架对未知场景的适应性，研究团队在图3中对比了三种方法在四种典型跨域场景下的相位误差与三维重建效果。如图3(a)所示，实验涵盖未知条纹频率、对比度、投影角度及环境光干扰等复杂条件。图3(b)展示了处理未知频率条纹时三维重建的对比效果：基线网络与通才网络在面部、颈部区域出现明显波纹畸变，而跨域学习框架则忠实还原了五官轮廓与曲面细节。通过选取眼窝、下颌线等特征区域进行横截面分析（图3(c)(d)），可见该框架重建曲线与12步相移法的基准结果高度吻合，证实其在不同数据域下的可靠性。
图3：跨域学习框架在未知数据域上三维重建结果测试
此外，为验证所提出的跨域学习框架在未知场景下的动态三维重建能力，研究团队在三种未见频率的条纹照明条件下，开展了针对不同转速风扇的三维重建实验。图4展示了风扇整个动态过程的三维重建结果，同时在下方绘制了风扇上三个选定点（A、B、C）在Z方向的位移变化曲线。对于频率为110的未见条纹图像，其动态三维重建结果表明风扇的旋转周期为140毫秒，对应的转速为425转/分钟（RPM）。而对于频率为115和120的条纹图像，其动态三维重建结果显示风扇的旋转周期分别为150毫秒和160毫秒，所对应的转速为400 RPM和375 RPM，测量结果与风扇的设定转速一致。根据上述动态三维重建结果，尽管CDL模型在训练阶段从未见过这些频率下的动态条纹图像，仍能够准确重建旋转风扇叶片的三维轮廓，展现出良好的跨域泛化能力。
图4：跨域学习框架在未知场景下对不同转速旋转风扇的动态三维重建效果
本研究提出了一种融合多专家协作机制与自监督训练的跨域条纹分析框架，有效解决了传统方法在复杂场景下的泛化瓶颈。该框架通过多个专家网络模块的协同工作，实现了对未知系统与环境的高适应性。多专家网络分别针对不同频率、对比度的条纹特征进行解析，再通过由门网络主导的动态权重融合机制实现专家协作，使模型能够自主适应未见过的系统参数、环境光照等条件。本方法有望提升基于深度学习的结构光三维成像技术在更广泛应用场景中的有效性。
南京理工大学智能计算成像实验室(SCILab:www.scilaboratory.com)隶属于南京理工大学光学工程国家一级重点学科带头人陈钱教授领衔的“光谱成像与信息处理”教育部CJ学者创新团队、首批“全国高校黄大年式教师团队”。实验室学术带头人左超教授为教育部CJ学者特聘教授、国际光学工程学会会士(SPIE Fellow)、美国光学学会会士(Optica Fellow)，入选科睿唯安全球高被引科学家。实验室致力于研发新一代计算成像与传感技术，在国家重大需求牵引及重点项目支持下开展新型光学成像的机理探索、工程实践以及先进仪器的研制工作，并开拓其在生物医药、智能制造等领域的前沿应用。研究成果已在SCI源刊上发表论文260余篇，其中46篇论文被选作Photonix、Light、Optica、LPR等期刊封面论文，25篇论文入选ESI高被引/热点论文，论文被引近2万次。获中国光学工程学会技术发明奖一等奖、江苏省科学技术奖基础类一等奖、日内瓦国际发明展“特别嘉许金奖”等。培养研究生6人获全国光学工程优秀博士论文/提名奖，5人获中国光学学会王大珩光学奖，10人入围Light全国光学博士生学术竞赛全国百强，获“挑战杯”、“创青春”、“研电赛”全国金奖十余次,“互联网+”全国总冠军。
Li X, Feng S, Chen W, et al. Adaptive Structured‐Light 3D Surface Imaging with Cross‐Domain Learning. Laser & Photonics Reviews, 2401609 (2025).
https://doi.org/10.1002/lpor.202401609
10个月宝宝每天需要喝多少奶粉？
