attention

DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence

1.6T MoE / 1M context。CSA+HCA 混合注意力把 KV cache 砍到 V3.2 的 10%,残差用 Sinkhorn 投影双随机矩阵稳定 61 层堆叠。