南京大学王利民团队 | 光流稳住运动,扩散模型守住细节:MoG运动感知插帧方法

研究团队

张国珍、朱宇涵：南京大学软件新技术国家重点实验室

崔玉涛、赵晓彤、马凯：腾讯 PCG

王利民：南京大学、上海人工智能实验室

#插帧，#提升帧率，#视频增强，#光流，#扩散模型，#视频生成，#计算机视觉，#人工智能

引用本文: Zhang G Z, Zhu Y H, Cui Y T, et al. Motion-aware generative frame interpolation. Sci China Inf Sci, 2026, 69(5): 150101, https://doi.org/10.1007/s11432-025-4920-3

研究意义

手机拍体育、舞台或孩子跑动，原始素材往往只有30帧;想做流畅一点的回放，或者把普通片源提升帧率到更高刷新率，背后都要靠插帧--在相邻两幅画面之间再算出若干中间帧。老电影修复、监控补帧、剪辑里做慢动作，其实也是同一类问题:时间轴上「缺了几格」，算法得猜出来，还不能让人一眼看出假。

做插帧，行业里长期有两条路。一条路是光流:先估计像素怎么动，再按运动场去「搬运」图像。优点是轨迹清楚时，整体很顺;缺点是人物交错、头发飘、衣服褶子一大，光流就容易估不准，画面里便出现糊块、重影、拉丝。另一条路是这两年很热的大视频生成模型:用扩散模型从噪声里画」出中间帧，复杂纹理有时更耐看;可它未必严格照着首尾两帧走，常见的是运动发飘、物体对不齐--毕竟预训练阶段并没有专门把「两帧之间的对应关系」教到很细。

两条路各有利弊，实际业务里却常常希望又顺又真:运动别乱跳，边缘别糊成一片，同时别跟输入的首尾帧「打架」。这项工作想解决的就是这个折中难题:在真实拍摄和动画素材两类场景里，把光流提供的运动线索和扩散模型的生成能力接到一起，让插帧结果更稳、更干净，也方便后续做提升帧率、慢放等应用。

图1 同一段素材里，不同方法插帧后的观感差别一眼能看出来：有的中间帧边缘发虚，有的动作「拖尾」。 MoG 这边，运动相对利落，人物和背景的轮廓也更贴原片。（论文 Fig.1，节选）

本文工作

图2 方法管线一览：先由光流分支给出中间运动场，再把对齐后的表征送进扩散模型；注入点分两层，且偏编码器侧，给后面解码留余地（论文 Fig.2）

图3 复杂运动区域往往最考验插帧：单靠光流容易糊，单靠生成基线又可能跟输入帧对不齐。MoG 把两边的长处叠在一起，对比如图所示。（论文 Fig. 3）

实验结果

图4 实拍场景下与多种生成式插帧方法的并排对比；放大看衣褶、发丝、运动物体边缘，差别会更明显。（论文 Fig.4）

图5 插值步数变化（可理解为提升帧率任务里「中间要补多少格」）对难度的影响：步数越多越难，MoG 的PSNR/SSIM 等仍相对稳定。（论文 Fig.5）

上海交通大学邓志杰团队 | 基于控制网无需训练的文本驱动长视频编辑

上海人工智能实验室乔宇团队 | VideoChat: 基于视频指令数据微调的聊天机器人

中国科学院计算所山世光团队 | 用于视觉标记化的一致多模态预训练

华中科技大学桑农团队 | UniAnimate: 可控视频生成新SOTA，给定参考人物图像即可定制高质量跳舞视频