rope
提到此概念的论文 / 教程
Krea 2 技术报告精读:一个「为创意探索而生」的开源文生图基础模型,从数据、架构到万卡基建全栈拆解
Krea 2 是 Krea 自研的开源文生图(T2I)基础模型族,定位不是「给你一张最稳的默认图」,而是「让你在广阔的美学空间里探索」——刻意保留风格多样性、并配套 prompt 扩写器 + 风格参考系统两套可控性工具。开源权重 + 推理代码,permissive license,号称登上 Artificial Analysis T2I 榜前 10、独立实验室中第 2。 这是一份「工程配方 + 系统基建」型技术报告(58 分钟阅读),重点不在新公式,而在**全栈决策**:数据策展原则(多样性优先、零 AI 生成图)、从 LLM 生态搬过来的极简 DiT(GQA + 门控 sigmoid 注意力 + SwiGLU + Qwen3-VL + 轻量时间步调制 + 多层特征聚合)、五阶段训练流水线(预训练→midtraining→SFT→偏好优化→RL→时间步蒸馏),以及从零自建的 Kubernetes 训练基建(Kueue 调度、Virtual Kubelet 外溢推理、Weka 文件系统、PostgreSQL「krablet」数据仓库 + FOR UPDATE SKIP LOCKED 队列)。 本文按精读骨架交叉拆解,并补全报告用散文描述、但背后是标准公式的几处方法(rectified-flow v 参数化、DPO/STPO、多奖励 GRPO、DMD→TDM)。
i1 精读:一份「完全开源」的强文生图配方——用 300+ 控制实验把设计空间逐个钉死
i1 是普林斯顿 Zhuang Liu 组放出的 3B 文生图扩散模型,卖点不是新模块,而是**完全开源(权重 + 数据 + 代码 + 配方)** 且**用 300+ 个控制实验**(700K+ TPU v6e 小时)把「文/噪声条件、骨干结构、合成 caption、数据混合」这几个设计维度逐个单变量消融,给出 10 条可复用结论。 最终配方极简:双流 MMDiT + 长跳连接(long skip)+ 砍掉 AdaLN(省 0.23B 参数)+ 单个强文本编码器(T5Gemma-2B)配一个**更大的 transformer adapter**(替代「多文本编码器」)+ 只用长合成 caption 训练、推理时用 LLM 把短 prompt 扩写对齐训练分布 + 各数据集**等权重**混合。 在 GenEval/DPG/PRISM/CVTG-2K/LongText 五个 benchmark 上,i1(3B)平均超过此前最强「完全开源」模型 **29.5 个百分点**,并在多数指标上压过 12B FLUX.1 [Dev]、17B HiDream-I1。本文交叉阅读其 JAX 代码,把每条结论落到 `file:Lnn`。
Boogu-Image-0.1:用 1/10 数据做开源「统一生成+编辑」大模型(代码精读)
Boogu-Image-0.1 是一个 Apache-2.0 开源的「统一文生图 + 图像编辑」模型族(Base / Edit / Turbo,均 10B),主打照片级真实感和中英双语文字渲染,号称用比同类开源模型少约一个数量级的训练数据做到接近闭源(GPT-Image-2 / Nano-Banana-Pro)的水平。 架构是 Lumina-Image-2 谱系的 DiT(noise/context/ref 三套 refiner + 双流/单流 MMDiT 块),文本条件来自一个 Qwen3-VL 多模态大模型(既当指令编码器、又当 prompt 改写/推理器);Turbo 变体用 Decoupled DMD 蒸馏到 4 步、无 CFG。 ⚠️ 正式技术报告尚未发布(仓库标注 "Coming Soon"),本文是基于 README + 推理代码的交叉精读,非官方报告解读。
ARGUS:把「身份」从一张参考图变成扩散同步的动态记忆
主体保持的视频生成(让生成视频里的人「还是同一个人」)长期被「点参考」范式卡住——一张参考图把"这个人是谁"和"他这一帧恰好长这样(姿态/配饰/光照/背景)"纠缠在一起,模型要么照抄噪声细节、要么身份漂移。 ARGUS(快手/北大)提出 SMII:用 MLLM 当"身份导演"挑出多视角身份证据,拼成 3×3 马赛克,**和目标视频走同一条 Flow Matching 加噪路径**,再以"负时间、只读记忆"的方式注入 Wan 的原生 token 空间。配合无配对反事实训练 + TIA + ASLG,在 OpenS2V-Eval 拿到 64.38 总分、71.86 FaceSim 的 SOTA,大偏航/首帧遮挡鲁棒性分别再涨 12.6 / 15.1 分。
OP4KSR:一步、无分块的 4K 超分,外加把 Flux「周期格子伪影」连根拔起
OP4KSR 是第一个「一步 + 无分块」的真实世界 4K 超分框架:靠 UltraFlux 的 F16 极压缩 VAE 把 4096×4096 的显存压到单卡可跑,再借 [[omgsr-2025]] 的中间时刻对齐把 Flux 微调成一步前向(注意:是 GAN 式一步微调,**不是师生蒸馏**),5.75 秒出一张 4K 图。 但一步化会触发周期 32 像素的格子伪影。作者把病因拆成两层——RoPE 相位坍缩让相邻 token 不可分(θ=10000 太大)、以及 2×2 打包后 unpack 把通道当空间用——并对症下两味药:RoPE 基频从 10000 降到 100(RFR)+ 一个基于自相关的周期性损失(L_AP)。