mixture-of-experts
提到此概念的论文 / 教程
📄 论文
📅 2026-06-01
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence
1.6T MoE / 1M context。CSA+HCA 混合注意力把 KV cache 砍到 V3.2 的 10%,残差用 Sinkhorn 投影双随机矩阵稳定 61 层堆叠。
📄 论文
📅 2026-06-01
SenseNova-U1: Unifying Multimodal Understanding and Generation with NEO-unify Architecture
不用 ViT 也不用 VAE 的"理解+生成"统一模型，直接在像素空间做 flow matching，把两条流装进同一个 Mixture-of-Transformers。