lora

提到此概念的论文 / 教程

📄 论文 📅 2026-06-30

PhysEditWorld:把「重力」从隐式相关性拽成可编辑的设计变量

清华深圳 + 北航 + 港科大等。一个数据集论文:现有 game world model 把物理当成数据分布里的隐式规律学,能模仿「世界通常怎么演化」,但答不出游戏作者真正关心的问题——「同一个场景,如果改一条物理规则,应该怎么演化?」。PhysEditWorld 用 UE5 的 replay-and-rendering 管线,固定场景 / 初始态 / 动作序列 / 角色控制器 / 相机策略,只改重力配置重放同一段交互,得到 matched counterfactual replay group:12 个电影级 UE5 场景、100+ 小时交互、60M+ 渲染帧、8 路同步相机、RGB/深度/法线/音频/动作/相机/引擎态/重力标签。配套验证:在 Wan2.2-5B / LingBot-World 上 LoRA 微调后重力对齐从 33% → 100%、$R^2$ 0.066 → 0.570;Qwen3-VL 重力分类 24.7% → 95.3%。代码(UE5 插件)尚未释出,仓库目前只有数据契约 + 配置 + CLI 文档。

📘 教程 📅 2026-06-30

扩散超分全景:从多步先验到一步前向,再到视频流式

8 节螺旋系统讲透扩散超分(Diffusion Super-Resolution)的演化主线:把"多步随机采样的强生成先验"逐步压成"一步确定性前向",再从图像扩展到视频的时序一致性与流式实时。地基是 SR3/StableSR 的"冻结 SD 当先验、只学条件"(§1–§2);其上是三条一步化路线——分数蒸馏(OSEDiff/VSD,§3)、中间时刻注入+GAN 一步(OMGSR/OP4KSR,§4);再转入视频:SeedVR 的 shifted-window 时空 DiT(§5)、视频一步化与时序一致(DLoRAL 双 LoRA / DOVE / DUO-VSR,§6)、流式/长视频/实时(FlashVSR 稀疏注意力 / InfVSR 因果 KV-cache / Stream-DiffVSR,§7),最后收敛到统一视角与选型白地(§8)。代码均 verbatim 引自 StableSR、OSEDiff、OMGSR、SeedVR、DLoRAL、FlashVSR 真实仓库(行号经 sed 核对)。

📄 论文 📅 2026-06-30

OMGSR:一步超分的关键不是蒸馏,是把低清图喂到「中间时刻」——SNR 算出最佳注入点 + GAN 训练

OMGSR 把一步真实世界超分(Real-ISR)的成败归结为一个「潜空间鸿沟」:以往方法把低清图 latent 注入到扩散调度器的 t=999(纯噪声)或 t=1(干净图),但低清图 latent 既不是噪声也不是干净图——它最接近预训练扩散在某个**中间时刻 t\*** 的带噪 latent。 作者用信噪比 (SNR) 把这个「最佳中间时刻」**算出来**(SD2.1-base 上 t\*=273),再用 LRR 损失(LoRA 微调 VAE 编码器)把低清 latent 进一步拉向 t\* 的带噪 latent,然后在 t\* 处做一步去噪。整套是 **GAN 训练**(生成器=扩散模型本身,判别器=DINOv3-ConvNeXt + 多级头),不是师生蒸馏。这就是 [[op4ksr-2026]] 4K 超分的直接前身。

📄 论文 📅 2026-06-14

LISA:用大语言模型做「推理分割」

LISA 给多模态大模型加一个 `<SEG>` token,把这个 token 的最后一层隐藏向量当作 SAM 的「文本提示」直接解码成掩码(embedding-as-mask),端到端用 LoRA 训练。 由此首次让 LLM 能根据「需要推理的隐式指令」输出分割掩码,并开创了一整条 `<SEG>`-token 像素级多模态大模型的研究路线。