扩散超分调研:一步化浪潮与 SeedVR 之后的视频超分(2024→2026)
1. 概述与范围
本调研覆盖 2024–2026 年扩散超分(diffusion super-resolution)的图像与视频两条线,主线只有一条:把扩散先验从「多步随机采样」压缩成「一步确定性前向」,并将其从图像迁移到视频的时序与流式场景。读者默认为 CV/ML 从业者,下文不解释什么是扩散、超分、注意力。
- 时间窗:以一步图像超分的元年(OSEDiff/SinSR,2024)为起点,到 2026 上半年的视频一步化与流式工作。
- 取舍:聚焦「一步化机制」这条可比较的主轴;多步先验范式(SR3/StableSR)仅作为对照基线。配套的原理精讲见本站教程 diffusion-sr-2021,本页只做调研对比、不做推导。
- 证据强度:所有 arxiv 号、年份、venue 均本次联网核实;标 ✅。SeedVR 原作仅给 venue + 仓库(arxiv 号本次未核实,不臆造)。代码交叉验证(§5)只列本次实际打开并比对过的函数。
验证原则:引用经核实而非回忆;代码主张经打开函数比对而非据摘要推断。
2. 逐篇精要
每个工作四行:核心贡献(最具区分度的一点)/ 方法(承重机制一句话)/ 关键结果(带指标与基线)/ 代码。
2.1 图像一步化(Real-ISR)
OSEDiff (NeurIPS 2024, arxiv:2406.08177) — ✅
- 核心贡献:一步分数蒸馏 Real-ISR 的范式确立者。
- 方法:LQ latent 直接当扩散输入(去掉随机噪声起点)+ 变分分数蒸馏(VSD)做 KL 正则。
- 关键结果:单步推理质量与多步方法相当,比 SeeSR 快 10×+,可训参数最少。
- 代码:cswry/OSEDiff ·
osediff.py:distribution_matching_loss。
怎么做的:LQ 图经 VAE 编码成 latent,直接作为 UNet 在一个固定时间步的输入,一次前向 + 一步 scheduler 出 latent,再解码——全程无迭代、无随机噪声起点。训练时这个一步学生(UNet+VAE 挂 LoRA)由重建损失(L2+LPIPS)兜底、再加 VSD 正则:在学生输出的加噪 latent 上,取一个冻结预训练 UNet(real score,带 CFG 放大)与一个在线 LoRA UNet(fake score,实时拟合学生当前分布)的预测之差当梯度,把学生分布推向预训练真实分布。三个设计决定值得注意:(1) 用 LQ 当起点而非纯噪声,消去采样随机性、利于保真;(2) VSD 只作正则项(lambda_vsd 压住),让重建主导,避免一步学生跑飞;(3) fake-score 必须用在线 LoRA,否则跟不上每步都在变的学生分布。代价是质量被 teacher(SD 先验)的天花板锁死。
OMGSR (2025, arxiv:2508.08227) — ✅ 本站精读 omgsr-2025
- 核心贡献:指出一步化的关键不是蒸馏,而是把 LQ 注入到 SNR 算出的「中间时刻 t*」。
- 方法:用信噪比匹配离线求全局 t*,在 t* 处一步去噪,整套 GAN 训练(判别器=DINOv3-ConvNeXt),无 teacher。
- 关键结果:SD2.1 上 t*≈273;一步 GAN 微调质量对标多步,路线与蒸馏正交。
- 代码:wuer5/OMGSR ·
mid_timestep/mid_timestep_sd.py。
怎么做的:把一步化的问题重述为「LQ 该注入到扩散调度的哪一帧」。OMGSR 先离线在整个训练集上扫所有时刻,用信噪比匹配——令调度的理论 SNR(t)=ᾱ_t/(1-ᾱ_t)·E[x²] 与 LQ 实测 SNR=E[x²]/E[(LQ−HQ)²] 的差最小——取 argmin 得到一个全局固定的 t*(SD2.1 上 ≈273)。推理时把 LQ latent 当作 t* 处的带噪 latent,做一步去噪。训练是 GAN:生成器就是扩散 UNet(LoRA 微调),判别器是 DINOv3-ConvNeXt 多级头,监督来自 GT + 判别器,没有 teacher;另有 LRR 损失(LoRA 微调 VAE 编码器)把 LQ latent 进一步拉向 t* 的带噪 HQ latent。设计取舍:注入到 t*(而非 t=999 纯噪声或 t=0 干净图)让一步要补的距离最短;GAN(无 teacher)把质量上限从「贴近 SD」解放出来,代价是 GAN 训练更难稳,故堆了 GT+判别器+LRR 多项联合。
OP4KSR (2026, arxiv:2605.13457) — ✅ 本站精读 op4ksr-2026
- 核心贡献:第一个「一步 + 无分块」真实世界 4K 超分,并根治一步全图前向诱发的周期格子伪影。
- 方法:F16 压缩 VAE 让 4K 单卡可跑 + 中间时刻一步微调(继承 OMGSR)+ RoPE 基频 10000→100(RFR)+ 自相关周期损失。
- 关键结果:5.75s 出一张 4K,较一步 OMGSR 约 16×、较多步 SUPIR 约 280×。
- 代码:官方未放出(机制据论文)。
怎么做的:把 OMGSR 的「中间时刻一步 GAN」推到全分辨率 4K 且不分块。三步:(1) 用 UltraFlux 的 F16 极压缩 VAE 把 4096×4096 的显存压到单卡可跑;(2) 借中间时刻对齐把 Flux 微调成一步前向(GAN 式,非师生蒸馏);(3) 治理一步全图前向诱发的周期 32 像素格子伪影——作者把病因拆成两层:RoPE 相位坍缩(θ=10000 太大,相邻 token 不可分)与 2×2 打包后 unpack 把通道当空间,对症下两味药:RoPE 基频 10000→100(RFR)+ 基于自相关的周期性损失(L_AP)。设计取舍:无分块避免了拼缝,但把位置编码在超大尺寸上的混叠暴露出来——省下的分块步骤以新伪影的形式还回来,必须专门治理。
OFTSR (2024, arxiv:2412.09465) — ✅ 本站精读 oftsr-2024
- 核心贡献:一步 flow 超分,且保真-逼真可调。
- 方法:在一步 flow 模型上做可调的 fidelity-realism trade-off。
- 关键结果:单步生成,trade-off 曲线可控。
- 代码:见论文。
怎么做的:把超分建成一步 flow(rectified-flow 式从 LQ 到 HQ 的直线轨迹),一次前向出结果。关键设计是在一步模型上留一个保真-逼真可调旋钮:同一模型不重训即可在「忠于原图」与「锐利但更敢生成」之间滑动。它早于 OMGSR/OP4KSR,是本站收录的一步图像超分早期样本,确立了「一步 + trade-off 可控」这一对后续工作的诉求。
ODTSR (CVPR 2026, arxiv:2511.17138) — ✅
- 核心贡献:把「一步 + 可控保真」搬上 DiT 底座(Qwen-Image)。
- 方法:双视觉流(Control Noise + Prior Noise)+ Fidelity-aware 对抗训练(FAA),一步可控 Real-ISR。
- 关键结果:一步推理同时拿到保真与可控性(多步法靠随机性牺牲保真、一步法靠微调牺牲可控)。
- 代码:MediaX-SJTU/ODTSR。
怎么做的:以 Qwen-Image 这个 DiT 为底座做一步 Real-ISR,针对「多步法靠随机性出细节→保真低、一步法靠 fidelity-specific 微调→失去控制灵活性」这对矛盾。方法上设两条视觉流:一条 Control-Noise 流接收带可调噪声的 LQ,一条原始 Prior-Noise 流接收带一致噪声的 LQ;再用 Fidelity-aware Adversarial Training(FAA)在保住可控性的同时实现一步推理。设计取舍:双流让「控制强度」成为推理期可调量而非训练期写死,这是它相对 OSEDiff 这类一步法在「一步」之外多拿到的「可控」——也是目前图像侧少见的「一步 × 可控」样本(视频侧仍空白,见 §6)。
TEASR (2026, arxiv:2606.16188) — ✅
- 核心贡献:训练高效的「任意步」DiT,一步与多步统一在同一模型。
- 方法:自对抗蒸馏(无需 teacher/判别器)+ 时间步感知修正;单卡可蒸 20B 扩散模型。
- 关键结果:任意步采样,跨多数据集超 SOTA(作者报告)。
- 代码:本次未见官方仓库。
怎么做的:把「一步」与「多步」统一在同一个模型里——支持任意步采样。两个关键设计:(1) 自对抗蒸馏,让模型自己当自己的老师与判别器,省掉外部 teacher 和独立判别器,这是它「训练高效」的来源(单卡即可蒸 20B 扩散模型);(2) 时间步感知修正 + 解耦时间步条件的双分支 DiT,把「当前噪声状态」与「去噪目标」分离,稳住一步生成在不同噪声水平上的质量。设计取舍:放弃外部 teacher/判别器换来训练成本骤降,但需要自对抗与时间步修正来补回稳定性——与 OSEDiff(有 teacher)、OMGSR(有判别器)形成「监督越省、越依赖结构性技巧稳住」的对照。
2.2 视频一步化(SeedVR 之后)
SeedVR (CVPR 2025 Highlight) — ✅(venue/repo) · arxiv 本次未核实
- 核心贡献:把 shifted-window 时空注意力 DiT 用于任意分辨率/长度的通用视频修复,成为后续视频线共同底座。
- 方法:自适应窗口的时空注意力 DiT(多步扩散)。
- 关键结果:通用视频修复,是 DUO-VSR/FlashVSR 等的对标基线。
- 代码:ByteDance-Seed/SeedVR ·
models/dit/window.py。
怎么做的:视频 → latent → 一个 DiT(非 UNet),核心是 shifted-window 的时空注意力:把视频 token 按 (t,h,w) 切成 3D 窗口、窗内做注意力,相邻层交替使用常规/位移窗口让感受野逐层扩散到全局。关键设计是自适应窗口——窗口尺寸按 720p 等效面积归一(缩放因子 s=√(45×80/(H·W)))折算,使任意分辨率下「每个窗口覆盖的画面比例」大致恒定(代码 make_shifted_720Pwindows_bysize 已核)。设计取舍:DiT 的注意力天然适配任意分辨率/长度 + 长程时序,胜过 UNet 的卷积归纳偏置;自适应窗口解决固定窗口在高分辨率下「覆盖比例失衡、语义范围漂移」的问题——但它仍是多步扩散,单条视频要跑几十步,慢,这把速度问题留给了 SeedVR2 及后续一步化。
SeedVR2 (ICLR 2026, arxiv:2506.05301) — ✅
- 核心贡献:SeedVR 自家一步化(同源),把通用视频修复压到单步。
- 方法:扩散对抗后训练(adversarial post-training)+ 自适应窗口注意力 + 特征匹配损失。
- 关键结果:单步即达到或超过多步视频修复;放出 3B/7B 权重(Apache-2.0)。
- 代码:同 SeedVR 仓库。
怎么做的:在 SeedVR 的 DiT 上做**扩散对抗后训练(adversarial post-training)**把多步压成单步:以预训练 SeedVR 为起点,用对抗目标 + 特征匹配损失(feature-matching)让一步学生的输出分布贴近真实分布。同时改进窗口注意力——窗口尺寸随输出分辨率动态调整,避免高分辨率下用预设窗口产生的窗口不一致(这正是 SeedVR 留下的痛点)。设计取舍:同源团队选择对抗后训练而非从零蒸馏,复用已训好的 SeedVR 能力、只补「一步」这一步;特征匹配损失稳住对抗训练。它是后续各家一步视频法(DUO-VSR 等)的对标基线(「比 SeedVR-7B 快 N×」)。
DOVE (NeurIPS 2025, arxiv:2505.16239) — ✅
- 核心贡献:把视频扩散基座 CogVideoX 微调成一步真实世界 VSR。
- 方法:latent→pixel 两阶段训练策略 + HQ-VSR 数据管线。
- 关键结果:比 MGLD-VSR 快约 28×,质量对标多步。
- 代码:zhengchen1999/DOVE。
怎么做的:不挂 LoRA,而是直接微调视频扩散基座 CogVideoX 成一步 VSR,关键是 latent-pixel 两阶段训练:第一阶段在 latent 空间让模型学会「从 LQ 视频 latent 一步还原」,第二阶段在 pixel 空间精修解码后的细节与色彩;配套构造 HQ-VSR 高质量数据管线。设计取舍:选 CogVideoX 这种视频基座是为了直接继承其自带的时序建模能力,省掉显式光流约束;两阶段是因为纯 latent 训练后解码会残留像素级伪影,需 pixel 阶段补。代价是微调整个视频基座比挂 LoRA 重。
DLoRAL (NeurIPS 2025, arxiv:2506.15591) — ✅
- 核心贡献:把「时序一致」与「空间细节」解耦成两组可分别训练、推理合并的 LoRA。
- 方法:C-LoRA(一致性,光流损失)+ D-LoRA(细节)分阶段训练,跨帧检索 CFR 聚合邻帧;推理合并进 SD 一步。
- 关键结果:比 Upscale-A-Video/MGLD 快约 10×、比 STAR 快约 8×,参数最少。
- 代码:yjsunnn/DLoRAL ·
src/DLoRAL_model.py。
怎么做的:给 SD 同一套基权重挂两组 LoRA——C-LoRA 专管帧间一致(训练时用光流一致性损失:让预测帧对的运动场对齐真值帧对的运动场),D-LoRA 专管空间细节。两组分阶段交替训练:训一致性时冻细节、训细节时冻一致性(代码 set_train_quality/set_train_consistency 按参数名前缀开关梯度,已核),再配跨帧检索 CFR 聚合邻帧信息喂给一致性。推理时两组增量直接合并进基权重,一步出图、零额外开销。设计取舍:让单组权重同时管「锐」和「稳」会顾此失彼——细节损失不断往高频塞内容,而高频正是帧间最易抖的部分;拆成两组、先稳后锐,把闪烁源提前压住。合并即免费(线性可加)是它相对蒸馏路线的工程优势。
DUO-VSR (CVPR 2026, arxiv:2603.22271) — ✅
- 核心贡献:双流蒸馏把多步视频教师稳定地压成一步。
- 方法:DMD 分布匹配 + RFS-GAN 对抗双流 + 渐进引导初始化 + 偏好精修。
- 关键结果:一步推理比多步 SeedVR-7B 快约 50×,质量更优。
- 代码:cszy98/DUO-VSR。
怎么做的:三阶段把多步视频教师压成一步学生:(1) 渐进引导蒸馏初始化(trajectory-preserving)先稳住后续训练;(2) 双流蒸馏并行——DMD(分布匹配蒸馏,类似 §3 的 VSD 用分数差把学生分布推向教师)+ RFS-GAN(Real-Fake Score Feature GAN,用真/假分数模型的判别特征提供互补对抗监督);(3) 偏好引导精修对齐感知质量。设计取舍:直接把 DMD 套到 VSR 会训练不稳、监督不足,故加 RFS-GAN 这条对抗流补高频与稳定性,再用初始化阶段防早期崩塌——这是「纯蒸馏不够、需对抗补位」的典型。一步推理使其比多步 SeedVR-7B 快约 50×。
STCDiT (2025, arxiv:2511.18786) — ✅
- 核心贡献:抗复杂相机运动的高质量视频超分。
- 方法:基于 Wan2.1;运动感知 VAE 分段重建 + anchor-frame 引导约束结构。
- 关键结果:结构保真与时序一致性超 SOTA(作者报告)。
- 代码:本次未见放出。
怎么做的:基于 Wan2.1 的多步视频超分,专攻复杂相机运动下的结构与时序稳定。两个设计:(1) 运动感知 VAE 分段重建——把视频按运动特性切成「段内运动一致」的 clip 分别重建,避免单一 VAE 在剧烈/变速运动上糊掉;(2) anchor-frame 引导——用每个 clip 第一帧 latent 的结构信息约束生成,提升结构保真。设计取舍:它没有走一步化,而是用多步换质量,针对的是「相机大幅运动」这个一步法和逐帧法都容易崩的场景——是本批工作里少数明确「不一步、保质量」的反例。
2.3 视频流式 / 长视频 / 实时
FlashVSR (CVPR 2026, arxiv:2510.12747) — ✅
- 核心贡献:首个面向实时的一步流式扩散 VSR。
- 方法:三阶段蒸馏 + 局部约束稀疏注意力 + 微型条件解码器;放出 VSR-120K。
- 关键结果:A100 上 768×1408 约 17 FPS,较前一步法约 12×。
- 代码:OpenImagingLab/FlashVSR ·
diffsynth/models/wan_video_dit.py。
怎么做的:三件套支撑实时流式。(1) 三阶段蒸馏把采样压到一步;(2) 局部约束稀疏注意力——新帧的窗口化 K/V 先与上一步缓存 pre_cache_k/v 拼接(rolling KV-cache),在拼接序列上做「局部块掩码 + draft TopK 稀疏掩码」注意力,再按窗宽 kv_len 滚动淘汰最老的块(代码 wan_video_dit.py 已核);(3) 微型条件解码器替掉笨重 VAE 解码。设计取舍:双向注意力要看未来帧、且 O(T²),根本没法流式;改成因果 + KV-cache 把复杂度降到 O(T·w) 且可边来边超;稀疏注意力只盯局部,顺带因「对绝对分辨率不敏感」弥合了训练(低分辨率短片)与测试(高分辨率长片)的尺度 gap。A100 上 768×1408 约 17 FPS。
InfVSR (2025, arxiv:2510.00948) — ✅
- 核心贡献:把 VSR 重写成自回归一步扩散,破除长度上限。
- 方法:预训练 DiT 改因果结构 + rolling KV-cache + 联合视觉引导;训短测长。
- 关键结果:比 MGLD-VSR 快约 58×,任意长度稳定。
- 代码:Kai-Liu001/InfVSR(当前仅项目页/图,未放出代码)。
怎么做的:把 VSR 重写成自回归一步扩散。将预训练 DiT 适配成因果结构,用 rolling KV-cache 做流式推理,并以联合视觉引导维持局部与全局一致性;整模型在短视频上训练,测试时泛化到任意长度。设计取舍:现有生成式 VSR 处理长序列有两个老问题——多步去噪全长序列太贵、按时间分块又产生接缝/不连续;InfVSR 用「因果一步 + KV-cache」同时绕开两者。训短测长能成立,靠的是因果+局部使模型学到的是「与绝对序列长度无关」的局部修复规律。比 MGLD-VSR 快约 58×。
Stream-DiffVSR (2025, arxiv:2512.23709) — ✅
- 核心贡献:把扩散 VSR 的首帧延迟压到亚秒,首个适合低延迟在线部署的扩散 VSR。
- 方法:4 步蒸馏去噪 + 自回归时序引导(ARTG)+ 时序感知微型解码器(TPM)。
- 关键结果:720p 单帧 0.328s(RTX4090),较在线 SOTA TMP 延迟降 >130×、LPIPS +0.095。
- 代码:jamichss/Stream-DiffVSR。
怎么做的:三个组件压低延迟。(1) 4 步蒸馏的去噪器(不追求一步,留 4 步换质量稳定);(2) 自回归时序引导 ARTG——在 latent 去噪过程中注入运动对齐的时序线索,维持帧间连贯;(3) 时序感知微型解码器 TPM——轻量解码同时增强细节与时序一致。设计取舍:它优化的是首帧延迟(720p 0.328s on RTX4090,较在线 SOTA TMP 降 >130×)而非吞吐——这与 FlashVSR 优化 FPS 是不同目标,二者宣称的「实时」不是同一指标(见 §4)。4 步而非 1 步是延迟与质量的折中。
3. 平行对比
| 方法 | 图/视频 | 底座 | 一步化机制 | 步数 | 监督 | 头条结果 | 代码 |
|---|---|---|---|---|---|---|---|
| OSEDiff | 图 | SD | 分数蒸馏(VSD) | 1 | teacher 分数差 | >10× vs SeeSR | ✅ |
| OMGSR | 图 | SD/Flux | 中间时刻注入 + GAN | 1 | 判别器(无teacher) | t*≈273, 一步 | ✅ |
| OP4KSR | 图(4K) | Flux+F16VAE | 中间时刻 + 周期治理 | 1 | GAN | 4K 5.75s, 16× vs OMGSR | ✗ |
| ODTSR | 图 | Qwen-Image(DiT) | 双流 + FAA 对抗 | 1 | 对抗 | 一步+可控 | ✅ |
| TEASR | 图 | DiT(≤20B) | 自对抗蒸馏 | 任意 | 自对抗(无teacher/D) | 单卡蒸 20B | ✗ |
| SeedVR2 | 视频 | SeedVR DiT | 对抗后训练 | 1 | 对抗+特征匹配 | 单步通用修复 | ✅ |
| DOVE | 视频 | CogVideoX | 微调+latent/pixel两阶段 | 1 | 重建 | 28× vs MGLD-VSR | ✅ |
| DLoRAL | 视频 | SD | 双 LoRA 解耦 | 1 | 重建+光流一致性 | 8–10× vs STAR/MGLD | ✅ |
| DUO-VSR | 视频 | — | 双流蒸馏(DMD+RFS-GAN) | 1 | 蒸馏+对抗 | 50× vs SeedVR-7B | ✅ |
| STCDiT | 视频 | Wan2.1 | 多步(运动感知VAE) | 多步 | 重建 | 抗相机运动 SOTA | ✗ |
| FlashVSR | 视频(流式) | Wan DiT | 蒸馏+稀疏注意力+微解码器 | 1 | 蒸馏 | 17 FPS, 12× | ✅ |
| InfVSR | 视频(长) | DiT(因果) | 自回归一步+KV-cache | 1 | 蒸馏 | 58× vs MGLD-VSR | (项目页) |
| Stream-DiffVSR | 视频(在线) | — | 4步蒸馏+ARTG | 4 | 蒸馏 | 720p 0.328s | ✅ |
—— 区分性轴:一步化机制(蒸馏 / GAN-中间时刻 / 解耦 LoRA / 自回归流式)与监督来源(teacher 分数 vs 判别器 vs 重建+一致性)是真正把这批工作分开的两列;「步数」几乎全压到 1,已不再是区分点。
4. 一致与矛盾
一致(多份独立工作收敛):
- 一步化已是默认。 除 STCDiT(明确走多步换质量)外,2025–2026 的图像与视频工作几乎全部把步数压到 1(Stream-DiffVSR 4 步是流式折中)。这是跨十余篇独立工作的强收敛信号。
- 「冻结/复用预训练先验,只学如何一步」是公认地基。 OSEDiff/DLoRAL/DOVE/SeedVR2 都不重训生成能力,只改造采样或挂适配器——继承自 StableSR 的「diffusion prior」范式。
- 加速度量级一致可信。 「比多步基线快 ~10–50×」在 DOVE(28×)/DLoRAL(8–10×)/DUO-VSR(50×)/InfVSR(58×) 反复出现,方向一致。
矛盾 / 不可直接比较(点名具体冲突):
- 「一步靠不靠 teacher」存在路线之争。 OSEDiff/DUO-VSR 主张分数/分布蒸馏(有 teacher,稳但受 teacher 天花板);OMGSR/OP4KSR 明确主张不要 teacher、用 GAN + 中间时刻注入(上限更高但更难训);TEASR 又主张自对抗蒸馏、连判别器都不要。三者对「一步的正确监督是什么」给出互斥答案。
- 加速倍数的基线不统一,横向不可比。 DOVE「28× vs MGLD-VSR」、DUO-VSR「50× vs SeedVR-7B」、InfVSR「58× vs MGLD-VSR」、Stream-DiffVSR「>130× vs TMP」——基线模型、分辨率、硬件各异(A100 vs RTX4090),这些倍数不能直接排序。读者须回到「同基线同硬件」才能比较。
- 「实时」定义不一致。 FlashVSR 报吞吐(17 FPS),Stream-DiffVSR 报首帧延迟(0.328s)——一个优化 throughput、一个优化 latency,宣称的「实时」不是同一指标。
- 评测集分散。 图像侧多用 RealSR/DRealSR/合成退化,视频侧用各自构造的数据(HQ-VSR、VSR-120K),缺少统一公开 benchmark,绝对分数跨论文不可比。
5. 代码交叉验证
对每个本地有仓库的承重主张,打开实现函数确认与论文一致(本次实际比对,非据摘要):
- ✅ OSEDiff 的 VSD:
osediff.py:distribution_matching_loss(L206–243) 计算grad = (x0_pred_update - x0_pred_fix)/weighting_factor再F.mse_loss(latents,(latents-grad).detach())——正是论文的 real/fake 分数差梯度,unet_fix带cfg_vsd即 CFG。与「VSD KL 正则」主张一致。 - ✅ OMGSR 的中间时刻:
mid_timestep/mid_timestep_sd.py(L59–80) 扫全时刻算SNR1=ᾱ_t·E[x²]/(1-ᾱ_t)与SNR2=E[x²]/E[(LQ-HQ)²],loss=|SNR1-SNR2|累加后取 argmin 得 t*。与「用 SNR 匹配求注入时刻」主张一致。 - ✅ DLoRAL 的双 LoRA 解耦:
src/DLoRAL_model.py:set_train_quality/set_train_consistency(L327–349) 按参数名前缀"quality"/"consistency"分别开关requires_grad,且一致性阶段连cfr_main_net一并解冻。与「C/D-LoRA 分阶段训练 + CFR」主张一致。 - ✅ SeedVR 的自适应窗口:
models/dit/window.py:make_shifted_720Pwindows_bysize(L51–70) 用scale=sqrt((45*80)/(h*w))按 720p 面积折算窗口尺寸、按wt<t决定半窗位移。与「窗口随分辨率自适应」主张一致。 - ✅ FlashVSR 的流式注意力:
diffsynth/models/wan_video_dit.py(L344–382)torch.cat([pre_cache_k,k_w])拼缓存、generate_draft_block_mask(...,topk,local_attn_mask)同时施加局部 + TopK 稀疏掩码、if cache_num>kv_len: cache_k=k_w[one_len:]滚动淘汰、return ...,cache_k,cache_v。与「KV-cache + 局部约束稀疏注意力」主张一致。 - ✅ StableSR 的 CFW(对照基线):
ldm/modules/diffusionmodules/model.py:Fuse_sft_block_RRDB(L822–835)out=dec_feat + w*RRDB(cat(enc,dec))——保真旋钮 w 的实现,与「controllable feature wrapping」一致。
⚠️ 未逐行核:DOVE 的 latent/pixel 两阶段(仓库 finetune/ 存在,未逐行比对);DUO-VSR/Stream-DiffVSR 仓库存在但本次未打开核函数;OP4KSR/TEASR/STCDiT 无官方代码——以上加速/机制主张以论文与项目页为准,未做代码级确认。
6. 启发与白地
- 一步化的代价会以别的形式还回来。 省下的采样步数转成新问题:OP4KSR 的 4K 周期伪影、分数蒸馏的训练失稳、流式法的远距离一致性减弱。一步不是免费午餐,是把「推理迭代的算力」换成「训练技巧 + 可控的质量让步」。
- 视频侧的 all-in-one 缺位。 图像侧 2026 已大量「一个模型修所有退化」(ClusIR/TPGDiff 等),视频修复仍按退化类型分散,没有统一框架——明显白地。
- 可控 × 一步,在视频几乎空白。 图像侧 ODTSR 已做到一步 + 保真旋钮(继承 StableSR CFW),视频侧一步法(DLoRAL/DUO-VSR)尚无等价的连续可控接口。
- 评测亟需统一。 加速倍数基线不一、硬件不一、数据集私有,导致跨论文不可比——一个固定基线 + 固定硬件 + 公开数据的 VSR 排行榜,是当前最有价值的基础设施空缺。
- 监督路线尚未收敛。 蒸馏(有 teacher)vs GAN-中间时刻(无 teacher)vs 自对抗(无 teacher 无 D)三条路并存且各有 SOTA 宣称,谁在什么条件下更优,仍是开放问题。
7. 参考文献
均经联网核实(arxiv 可点开)。
图像
- SR3 — Image Super-Resolution via Iterative Refinement (2021). arxiv:2104.07636 ·【seminal】
- StableSR — Exploiting Diffusion Prior for Real-World ISR (IJCV 2024). arxiv:2305.07015
- OSEDiff — One-Step Effective Diffusion Network for Real-World ISR (NeurIPS 2024). arxiv:2406.08177
- OFTSR — One-Step Flow for ISR with Tunable Fidelity-Realism Trade-offs (2024). arxiv:2412.09465
- OMGSR — You Only Need One Mid-timestep Guidance for Real-World ISR (2025). arxiv:2508.08227
- OP4KSR — One-Step Patch-Free 4K SR with Periodic Artifact Suppression (2026). arxiv:2605.13457
- ODTSR — One-Step Diffusion Transformer for Controllable Real-World ISR (CVPR 2026). arxiv:2511.17138
- TEASR — Training-Efficient Any-Step Diffusion Transformer for Real-World ISR (2026). arxiv:2606.16188
视频
- SeedVR — Seeding Infinity in Diffusion Transformer Towards Generic Video Restoration (CVPR 2025 Highlight).
- SeedVR2 — One-Step Video Restoration via Diffusion Adversarial Post-Training (ICLR 2026). arxiv:2506.05301
- DOVE — Efficient One-Step Diffusion Model for Real-World VSR (NeurIPS 2025). arxiv:2505.16239
- DLoRAL — One-Step Diffusion for Detail-Rich and Temporally Consistent VSR (NeurIPS 2025). arxiv:2506.15591
- DUO-VSR — Dual-Stream Distillation for One-Step VSR (CVPR 2026). arxiv:2603.22271
- STCDiT — Spatio-Temporally Consistent Diffusion Transformer for VSR (2025). arxiv:2511.18786
- FlashVSR — Towards Real-Time Diffusion-Based Streaming VSR (CVPR 2026). arxiv:2510.12747
- InfVSR — Breaking Length Limits of Generic VSR (2025). arxiv:2510.00948
- Stream-DiffVSR — Low-Latency Streamable VSR via Auto-Regressive Diffusion (2025). arxiv:2512.23709
本站相关:教程 diffusion-sr-2021(原理精讲);精读 omgsr-2025、op4ksr-2026、oftsr-2024。
讨论 / Comments
评论托管在本仓库的 GitHub Discussions, 需 GitHub 账号。