扩散超分调研:一步化浪潮与 SeedVR 之后的视频超分(2024→2026)

1. 概述与范围

本调研覆盖 2024–2026 年扩散超分(diffusion super-resolution)的图像与视频两条线,主线只有一条:把扩散先验从「多步随机采样」压缩成「一步确定性前向」,并将其从图像迁移到视频的时序与流式场景。读者默认为 CV/ML 从业者,下文不解释什么是扩散、超分、注意力。

验证原则:引用经核实而非回忆;代码主张经打开函数比对而非据摘要推断。

2. 逐篇精要

每个工作四行:核心贡献(最具区分度的一点)/ 方法(承重机制一句话)/ 关键结果(带指标与基线)/ 代码。

2.1 图像一步化(Real-ISR)

OSEDiff (NeurIPS 2024, arxiv:2406.08177) — ✅

怎么做的:LQ 图经 VAE 编码成 latent,直接作为 UNet 在一个固定时间步的输入,一次前向 + 一步 scheduler 出 latent,再解码——全程无迭代、无随机噪声起点。训练时这个一步学生(UNet+VAE 挂 LoRA)由重建损失(L2+LPIPS)兜底、再加 VSD 正则:在学生输出的加噪 latent 上,取一个冻结预训练 UNet(real score,带 CFG 放大)与一个在线 LoRA UNet(fake score,实时拟合学生当前分布)的预测之差当梯度,把学生分布推向预训练真实分布。三个设计决定值得注意:(1) 用 LQ 当起点而非纯噪声,消去采样随机性、利于保真;(2) VSD 只作正则项(lambda_vsd 压住),让重建主导,避免一步学生跑飞;(3) fake-score 必须用在线 LoRA,否则跟不上每步都在变的学生分布。代价是质量被 teacher(SD 先验)的天花板锁死。

OMGSR (2025, arxiv:2508.08227) — ✅ 本站精读 omgsr-2025

怎么做的:把一步化的问题重述为「LQ 该注入到扩散调度的哪一帧」。OMGSR 先离线在整个训练集上扫所有时刻,用信噪比匹配——令调度的理论 SNR(t)=ᾱ_t/(1-ᾱ_t)·E[x²] 与 LQ 实测 SNR=E[x²]/E[(LQ−HQ)²] 的差最小——取 argmin 得到一个全局固定的 t*(SD2.1 上 ≈273)。推理时把 LQ latent 当作 t* 处的带噪 latent,做一步去噪。训练是 GAN:生成器就是扩散 UNet(LoRA 微调),判别器是 DINOv3-ConvNeXt 多级头,监督来自 GT + 判别器,没有 teacher;另有 LRR 损失(LoRA 微调 VAE 编码器)把 LQ latent 进一步拉向 t* 的带噪 HQ latent。设计取舍:注入到 t*(而非 t=999 纯噪声或 t=0 干净图)让一步要补的距离最短;GAN(无 teacher)把质量上限从「贴近 SD」解放出来,代价是 GAN 训练更难稳,故堆了 GT+判别器+LRR 多项联合。

OP4KSR (2026, arxiv:2605.13457) — ✅ 本站精读 op4ksr-2026

怎么做的:把 OMGSR 的「中间时刻一步 GAN」推到全分辨率 4K 且不分块。三步:(1) 用 UltraFlux 的 F16 极压缩 VAE 把 4096×4096 的显存压到单卡可跑;(2) 借中间时刻对齐把 Flux 微调成一步前向(GAN 式,非师生蒸馏);(3) 治理一步全图前向诱发的周期 32 像素格子伪影——作者把病因拆成两层:RoPE 相位坍缩(θ=10000 太大,相邻 token 不可分)与 2×2 打包后 unpack 把通道当空间,对症下两味药:RoPE 基频 10000→100(RFR)+ 基于自相关的周期性损失(L_AP)。设计取舍:无分块避免了拼缝,但把位置编码在超大尺寸上的混叠暴露出来——省下的分块步骤以新伪影的形式还回来,必须专门治理。

OFTSR (2024, arxiv:2412.09465) — ✅ 本站精读 oftsr-2024

怎么做的:把超分建成一步 flow(rectified-flow 式从 LQ 到 HQ 的直线轨迹),一次前向出结果。关键设计是在一步模型上留一个保真-逼真可调旋钮:同一模型不重训即可在「忠于原图」与「锐利但更敢生成」之间滑动。它早于 OMGSR/OP4KSR,是本站收录的一步图像超分早期样本,确立了「一步 + trade-off 可控」这一对后续工作的诉求。

ODTSR (CVPR 2026, arxiv:2511.17138) — ✅

怎么做的:以 Qwen-Image 这个 DiT 为底座做一步 Real-ISR,针对「多步法靠随机性出细节→保真低、一步法靠 fidelity-specific 微调→失去控制灵活性」这对矛盾。方法上设两条视觉流:一条 Control-Noise 流接收带可调噪声的 LQ,一条原始 Prior-Noise 流接收带一致噪声的 LQ;再用 Fidelity-aware Adversarial Training(FAA)在保住可控性的同时实现一步推理。设计取舍:双流让「控制强度」成为推理期可调量而非训练期写死,这是它相对 OSEDiff 这类一步法在「一步」之外多拿到的「可控」——也是目前图像侧少见的「一步 × 可控」样本(视频侧仍空白,见 §6)。

TEASR (2026, arxiv:2606.16188) — ✅

怎么做的:把「一步」与「多步」统一在同一个模型里——支持任意步采样。两个关键设计:(1) 自对抗蒸馏,让模型自己当自己的老师与判别器,省掉外部 teacher 和独立判别器,这是它「训练高效」的来源(单卡即可蒸 20B 扩散模型);(2) 时间步感知修正 + 解耦时间步条件的双分支 DiT,把「当前噪声状态」与「去噪目标」分离,稳住一步生成在不同噪声水平上的质量。设计取舍:放弃外部 teacher/判别器换来训练成本骤降,但需要自对抗与时间步修正来补回稳定性——与 OSEDiff(有 teacher)、OMGSR(有判别器)形成「监督越省、越依赖结构性技巧稳住」的对照。

2.2 视频一步化(SeedVR 之后)

SeedVR (CVPR 2025 Highlight) — ✅(venue/repo) · arxiv 本次未核实

怎么做的:视频 → latent → 一个 DiT(非 UNet),核心是 shifted-window 的时空注意力:把视频 token 按 (t,h,w) 切成 3D 窗口、窗内做注意力,相邻层交替使用常规/位移窗口让感受野逐层扩散到全局。关键设计是自适应窗口——窗口尺寸按 720p 等效面积归一(缩放因子 s=√(45×80/(H·W)))折算,使任意分辨率下「每个窗口覆盖的画面比例」大致恒定(代码 make_shifted_720Pwindows_bysize 已核)。设计取舍:DiT 的注意力天然适配任意分辨率/长度 + 长程时序,胜过 UNet 的卷积归纳偏置;自适应窗口解决固定窗口在高分辨率下「覆盖比例失衡、语义范围漂移」的问题——但它仍是多步扩散,单条视频要跑几十步,慢,这把速度问题留给了 SeedVR2 及后续一步化。

SeedVR2 (ICLR 2026, arxiv:2506.05301) — ✅

怎么做的:在 SeedVR 的 DiT 上做**扩散对抗后训练(adversarial post-training)**把多步压成单步:以预训练 SeedVR 为起点,用对抗目标 + 特征匹配损失(feature-matching)让一步学生的输出分布贴近真实分布。同时改进窗口注意力——窗口尺寸随输出分辨率动态调整,避免高分辨率下用预设窗口产生的窗口不一致(这正是 SeedVR 留下的痛点)。设计取舍:同源团队选择对抗后训练而非从零蒸馏,复用已训好的 SeedVR 能力、只补「一步」这一步;特征匹配损失稳住对抗训练。它是后续各家一步视频法(DUO-VSR 等)的对标基线(「比 SeedVR-7B 快 N×」)。

DOVE (NeurIPS 2025, arxiv:2505.16239) — ✅

怎么做的:不挂 LoRA,而是直接微调视频扩散基座 CogVideoX 成一步 VSR,关键是 latent-pixel 两阶段训练:第一阶段在 latent 空间让模型学会「从 LQ 视频 latent 一步还原」,第二阶段在 pixel 空间精修解码后的细节与色彩;配套构造 HQ-VSR 高质量数据管线。设计取舍:选 CogVideoX 这种视频基座是为了直接继承其自带的时序建模能力,省掉显式光流约束;两阶段是因为纯 latent 训练后解码会残留像素级伪影,需 pixel 阶段补。代价是微调整个视频基座比挂 LoRA 重。

DLoRAL (NeurIPS 2025, arxiv:2506.15591) — ✅

怎么做的:给 SD 同一套基权重挂两组 LoRA——C-LoRA 专管帧间一致(训练时用光流一致性损失:让预测帧对的运动场对齐真值帧对的运动场),D-LoRA 专管空间细节。两组分阶段交替训练:训一致性时冻细节、训细节时冻一致性(代码 set_train_quality/set_train_consistency 按参数名前缀开关梯度,已核),再配跨帧检索 CFR 聚合邻帧信息喂给一致性。推理时两组增量直接合并进基权重,一步出图、零额外开销。设计取舍:让单组权重同时管「锐」和「稳」会顾此失彼——细节损失不断往高频塞内容,而高频正是帧间最易抖的部分;拆成两组、先稳后锐,把闪烁源提前压住。合并即免费(线性可加)是它相对蒸馏路线的工程优势。

DUO-VSR (CVPR 2026, arxiv:2603.22271) — ✅

怎么做的:三阶段把多步视频教师压成一步学生:(1) 渐进引导蒸馏初始化(trajectory-preserving)先稳住后续训练;(2) 双流蒸馏并行——DMD(分布匹配蒸馏,类似 §3 的 VSD 用分数差把学生分布推向教师)+ RFS-GAN(Real-Fake Score Feature GAN,用真/假分数模型的判别特征提供互补对抗监督);(3) 偏好引导精修对齐感知质量。设计取舍:直接把 DMD 套到 VSR 会训练不稳、监督不足,故加 RFS-GAN 这条对抗流补高频与稳定性,再用初始化阶段防早期崩塌——这是「纯蒸馏不够、需对抗补位」的典型。一步推理使其比多步 SeedVR-7B 快约 50×。

STCDiT (2025, arxiv:2511.18786) — ✅

怎么做的:基于 Wan2.1 的多步视频超分,专攻复杂相机运动下的结构与时序稳定。两个设计:(1) 运动感知 VAE 分段重建——把视频按运动特性切成「段内运动一致」的 clip 分别重建,避免单一 VAE 在剧烈/变速运动上糊掉;(2) anchor-frame 引导——用每个 clip 第一帧 latent 的结构信息约束生成,提升结构保真。设计取舍:它没有走一步化,而是用多步换质量,针对的是「相机大幅运动」这个一步法和逐帧法都容易崩的场景——是本批工作里少数明确「不一步、保质量」的反例。

2.3 视频流式 / 长视频 / 实时

FlashVSR (CVPR 2026, arxiv:2510.12747) — ✅

怎么做的:三件套支撑实时流式。(1) 三阶段蒸馏把采样压到一步;(2) 局部约束稀疏注意力——新帧的窗口化 K/V 先与上一步缓存 pre_cache_k/v 拼接(rolling KV-cache),在拼接序列上做「局部块掩码 + draft TopK 稀疏掩码」注意力,再按窗宽 kv_len 滚动淘汰最老的块(代码 wan_video_dit.py 已核);(3) 微型条件解码器替掉笨重 VAE 解码。设计取舍:双向注意力要看未来帧、且 O(T²),根本没法流式;改成因果 + KV-cache 把复杂度降到 O(T·w) 且可边来边超;稀疏注意力只盯局部,顺带因「对绝对分辨率不敏感」弥合了训练(低分辨率短片)与测试(高分辨率长片)的尺度 gap。A100 上 768×1408 约 17 FPS。

InfVSR (2025, arxiv:2510.00948) — ✅

怎么做的:把 VSR 重写成自回归一步扩散。将预训练 DiT 适配成因果结构,用 rolling KV-cache 做流式推理,并以联合视觉引导维持局部与全局一致性;整模型在短视频上训练,测试时泛化到任意长度。设计取舍:现有生成式 VSR 处理长序列有两个老问题——多步去噪全长序列太贵、按时间分块又产生接缝/不连续;InfVSR 用「因果一步 + KV-cache」同时绕开两者。训短测长能成立,靠的是因果+局部使模型学到的是「与绝对序列长度无关」的局部修复规律。比 MGLD-VSR 快约 58×。

Stream-DiffVSR (2025, arxiv:2512.23709) — ✅

怎么做的:三个组件压低延迟。(1) 4 步蒸馏的去噪器(不追求一步,留 4 步换质量稳定);(2) 自回归时序引导 ARTG——在 latent 去噪过程中注入运动对齐的时序线索,维持帧间连贯;(3) 时序感知微型解码器 TPM——轻量解码同时增强细节与时序一致。设计取舍:它优化的是首帧延迟(720p 0.328s on RTX4090,较在线 SOTA TMP 降 >130×)而非吞吐——这与 FlashVSR 优化 FPS 是不同目标,二者宣称的「实时」不是同一指标(见 §4)。4 步而非 1 步是延迟与质量的折中。

3. 平行对比

方法 图/视频 底座 一步化机制 步数 监督 头条结果 代码
OSEDiff SD 分数蒸馏(VSD) 1 teacher 分数差 >10× vs SeeSR
OMGSR SD/Flux 中间时刻注入 + GAN 1 判别器(无teacher) t*≈273, 一步
OP4KSR 图(4K) Flux+F16VAE 中间时刻 + 周期治理 1 GAN 4K 5.75s, 16× vs OMGSR
ODTSR Qwen-Image(DiT) 双流 + FAA 对抗 1 对抗 一步+可控
TEASR DiT(≤20B) 自对抗蒸馏 任意 自对抗(无teacher/D) 单卡蒸 20B
SeedVR2 视频 SeedVR DiT 对抗后训练 1 对抗+特征匹配 单步通用修复
DOVE 视频 CogVideoX 微调+latent/pixel两阶段 1 重建 28× vs MGLD-VSR
DLoRAL 视频 SD 双 LoRA 解耦 1 重建+光流一致性 8–10× vs STAR/MGLD
DUO-VSR 视频 双流蒸馏(DMD+RFS-GAN) 1 蒸馏+对抗 50× vs SeedVR-7B
STCDiT 视频 Wan2.1 多步(运动感知VAE) 多步 重建 抗相机运动 SOTA
FlashVSR 视频(流式) Wan DiT 蒸馏+稀疏注意力+微解码器 1 蒸馏 17 FPS, 12×
InfVSR 视频(长) DiT(因果) 自回归一步+KV-cache 1 蒸馏 58× vs MGLD-VSR (项目页)
Stream-DiffVSR 视频(在线) 4步蒸馏+ARTG 4 蒸馏 720p 0.328s

—— 区分性轴:一步化机制(蒸馏 / GAN-中间时刻 / 解耦 LoRA / 自回归流式)与监督来源(teacher 分数 vs 判别器 vs 重建+一致性)是真正把这批工作分开的两列;「步数」几乎全压到 1,已不再是区分点。

4. 一致与矛盾

一致(多份独立工作收敛):

矛盾 / 不可直接比较(点名具体冲突):

5. 代码交叉验证

对每个本地有仓库的承重主张,打开实现函数确认与论文一致(本次实际比对,非据摘要):

⚠️ 未逐行核:DOVE 的 latent/pixel 两阶段(仓库 finetune/ 存在,未逐行比对);DUO-VSR/Stream-DiffVSR 仓库存在但本次未打开核函数;OP4KSR/TEASR/STCDiT 无官方代码——以上加速/机制主张以论文与项目页为准,未做代码级确认。

6. 启发与白地

7. 参考文献

均经联网核实(arxiv 可点开)。

图像

视频

本站相关:教程 diffusion-sr-2021(原理精讲);精读 omgsr-2025op4ksr-2026oftsr-2024

讨论 / Comments

评论托管在本仓库的 GitHub Discussions, 需 GitHub 账号。