你可以论文里的“双随机矩阵”理解成一种受严格约束的“残差流路由矩阵”。它既不是随机初始化的意思，也不是两张随机矩阵，而是 doubly stochastic matrix：

H\in \mathbb{R}^{n\times n},\qquad H_{ij}\ge 0,\qquad H\mathbf 1=\mathbf 1,\qquad \mathbf 1^TH=\mathbf 1^T

也就是：

每一行元素之和 = 1；
每一列元素之和 = 1；
所有元素 ≥ 0。

这正是论文对 H_l^{res} 加的核心约束。

1. 先理解：为什么 HC 里面会有这么一张矩阵？

普通 Transformer 残差连接是：

x_{l+1}=x_l+F(x_l)

这里有一个非常重要的特点：

即使 F 学得一塌糊涂，x_l 至少还能原封不动地通过 identity path 传到下一层。

因此几十层、上百层串起来：

x_L=x_l+\sum_iF(x_i)

最前面的那个 x_l 始终存在，不会因为连续乘很多矩阵而消失。

论文把这称为 residual connection 的 identity mapping property。

HC 做了一件更激进的事情。

它不再只有一条 residual stream，而是扩成 n 条：

X_l= \begin{bmatrix} x_{l,1}\\ x_{l,2}\\ \vdots\\ x_{l,n} \end{bmatrix}

例如论文使用 n=4。

所以可以想象成 Transformer 中同时存在：

Residual Stream 1 ───────
Residual Stream 2 ───────
Residual Stream 3 ───────
Residual Stream 4 ───────

然后让不同 residual stream 之间互相交换信息。

这时候就引入了：

H_l^{res}\in \mathbb{R}^{n\times n}

例如：

H_l^{res}= \begin{bmatrix} 0.7&0.1&0.1&0.1\\ 0.2&0.5&0.2&0.1\\ 0.1&0.1&0.7&0.1\\ 0.1&0.2&0.2&0.5 \end{bmatrix}

然后：

X' = H_l^{res}X

于是第一条 residual stream 可能变成：

x'_1 = 0.7x_1+0.1x_2+0.1x_3+0.1x_4

也就是说：

H^{res} 本质上就是 residual streams 之间的信息路由/混合矩阵。

论文的消融实验也发现，HC 三个 mapping 里面，H^{res} 带来的性能收益最大，说明真正重要的是不同 residual stream 之间的信息交换。

2. HC 真正的问题：这些矩阵要连续乘几十次

这才是理解 mHC 的关键。

假设第 1 层：

X_1=H_0X_0

第二层：

X_2=H_1X_1=H_1H_0X_0

100 层以后：

X_{100} = H_{99}H_{98}\cdots H_0X_0

所以真正控制深层信号传播的并不是某一个 H，而是：

H_{\text{total}} = \prod_l H_l^{res}

这就是原始 HC 的危险之处。

一个最简单的例子

假设某个方向上每层都放大：

H\approx1.1

一层：

1.1

10 层：

1.1^{10}\approx2.59

100 层：

1.1^{100}\approx13780

反过来，如果：

H\approx0.9

那么：

0.9^{100}\approx0.0000266

一个是爆炸，一个是消失。

这正是 HC 破坏普通 residual connection 的地方：

普通 Residual：

x ─────────────────────────────→ x
      + F(x)

天然存在 coefficient = 1 的通路


HC：

x ── H1 ── H2 ── H3 ── ... ── HL ─→

最终：
HL ... H3 H2 H1 x

如果 H_l 完全自由学习，就没有任何东西保证：

H_L\cdots H_2H_1

不会越来越大或者越来越小。

论文在 27B 模型上真的观察到了这个现象：HC 的 composite mapping 的 forward/backward gain 峰值接近 3000，同时 loss 和 gradient norm 出现明显异常。

3. mHC 的想法其实非常漂亮

DeepSeek 的思路不是：

“既然 H 会造成不稳定，那我干脆把 H=I。”

如果：

H=I

确实绝对稳定。

但是：

stream 1 → stream 1
stream 2 → stream 2
stream 3 → stream 3
stream 4 → stream 4

不同 residual stream 又无法互相交流。

这样 HC 的意义就没了。

所以他们实际上在寻找一个折中：

既允许 residual streams 相互交换信息，同时又不能改变整体信号尺度。

于是选中了：

\boxed{\text{Doubly Stochastic Matrix}}

也就是双随机矩阵。

4. 为什么“双随机”刚好解决这个问题？

比如最简单的：

H= \begin{bmatrix} 0.8&0.2\\ 0.2&0.8 \end{bmatrix}

显然：

0.8+0.2=1

每一行和每一列都是 1。

如果原来有两个 residual stream：

X= \begin{bmatrix} x_1\\ x_2 \end{bmatrix}

经过 H：

\begin{aligned} x'_1&=0.8x_1+0.2x_2\\ x'_2&=0.2x_1+0.8x_2 \end{aligned}

注意它同时做了两件事。

第一：信息确实发生了交换

x_1 里面现在有 x_2。

x_2 里面也有 x_1。

所以不是 Identity：

H\neq I

模型仍然具有 HC 想要的跨 residual stream 信息融合能力。

第二：它不能凭空制造信号

把两个输出加起来：

x'_1+x'_2

得到：

(0.8+0.2)x_1+(0.2+0.8)x_2

即：

\boxed{x'_1+x'_2=x_1+x_2}

总量没有变化。

这就是列和为 1的重要意义。

一般情况下：

\mathbf1^TH=\mathbf1^T

因此：

\mathbf1^THX=\mathbf1^TX

也就是：

\boxed{\text{所有 residual stream 的总和/均值被保持}}

这就是论文所说的 signal conservation。

5. 行和为 1 又负责什么？

考虑：

x'_1 = 0.8x_1+0.2x_2

因为：

0.8+0.2=1

并且系数全部：

\ge0

所以 x'_1 是：

x_1,x_2

的 convex combination，凸组合。

也就是说它只能做：

“80% 的 stream 1 + 20% 的 stream 2”

而不能干：

10x_1-17x_2

这种非常激进的信号放大和正负抵消。

因此每个输出 stream 都是在已有 streams 之间进行“软混合”。

论文明确把这一点作为 mHC 稳定性的来源之一：双随机约束让 residual mapping 成为输入 features 的 convex combination。

6. 更关键的是：反向传播也稳定

这一点非常容易被忽略，但其实正是为什么必须“双随机”，而不是单纯“每行和为 1”。

前向传播：

Y=HX

反向传播：

\frac{\partial L}{\partial X} = H^T \frac{\partial L}{\partial Y}

所以：

前向传播看的是 H，反向传播实际上看的是 H^T。

如果只有：

H\mathbf1=\mathbf1

也就是 row stochastic，只能保证前向的某种稳定性。

但是反向传播用的是：

H^T

因此还需要：

H^T\mathbf1=\mathbf1

等价于：

\mathbf1^TH=\mathbf1^T

所以：

\boxed{ \text{row sum = 1} \quad+\quad \text{column sum = 1} }

实际上对应着：

\boxed{ \text{Forward 稳定} + \text{Backward 稳定} }

论文甚至直接用 composite mapping 的最大绝对行和衡量 forward gain，用最大绝对列和衡量 backward gain。

这个设计其实非常有针对性。

7. 最强的性质：双随机矩阵连乘之后仍然是双随机矩阵

这是整个 mHC 最重要的数学性质之一。

假设：

A\mathbf1=\mathbf1

以及：

B\mathbf1=\mathbf1

那么：

AB\mathbf1 = A(B\mathbf1) = A\mathbf1 = \mathbf1

同理：

\mathbf1^TAB = (\mathbf1^TA)B = \mathbf1^TB = \mathbf1^T

所以：

A,B\text{ 都是双随机} \Rightarrow AB\text{ 仍然双随机}

于是：

H_{100}H_{99}\cdots H_1

依然满足双随机约束。

这对于深度神经网络至关重要。

原始 HC：

H1 H2 H3 H4 ... H100

每乘一次
    ↓
误差/增益可能积累
    ↓
最终 gain → 3000

mHC：

H1 H2 H3 H4 ... H100
│  │  │  │      │
DS DS DS DS     DS
        ↓
乘积仍然 DS
        ↓
信号约束不会因为深度消失

这就是论文所谓的 Compositional Closure。

8. 所以它恢复的其实不是严格意义上的 H=I

这里有一个非常重要的细节。

论文经常使用：

restore identity mapping property

但千万不要理解成：

H^{res}=I

实际上一般：

H^{res}\neq I

例如：

\begin{bmatrix} 0.8&0.2\\ 0.2&0.8 \end{bmatrix} \neq \begin{bmatrix} 1&0\\ 0&1 \end{bmatrix}

它恢复的是一种广义 identity/conservation property。

特别是：

H\mathbf1=\mathbf1

意味着全 1 方向是它的特征向量：

H\mathbf1=1\cdot\mathbf1

也就是说有一个 eigenvalue：

\lambda=1

如果所有 residual streams 中都有一个共同分量：

X= \begin{bmatrix} v\\ v\\ v\\ v \end{bmatrix} =\mathbf1\otimes v

那么：

HX=X

这个公共信号是严格不变的。

所以你可以把它理解为：

普通 ResNet 是“整条 residual stream 原样保留”； mHC 是“多 residual streams 中的公共/平均信息原样保留，同时允许各 stream 之间重新混合”。

这比直接说“它还是 identity mapping”要准确得多。

9. Birkhoff Polytope 又是什么意思？

论文进一步指出：

所有 n\times n 双随机矩阵组成 Birkhoff polytope，而且任何双随机矩阵都可以表示成 permutation matrices 的凸组合。

这个性质特别适合用来理解 mHC。

Permutation matrix 例如：

P= \begin{bmatrix} 0&1\\ 1&0 \end{bmatrix}

它只是：

stream 1 ← stream 2
stream 2 ← stream 1

纯粹交换两个 stream。

Identity matrix：

I= \begin{bmatrix} 1&0\\ 0&1 \end{bmatrix}

是不交换。

而：

H= \begin{bmatrix} 0.8&0.2\\ 0.2&0.8 \end{bmatrix}

其实可以写成：

H=0.8I+0.2P

所以你完全可以把双随机矩阵理解成：

\boxed{ \text{一系列 residual-stream 重排方式的“软组合”} }

这非常形象：

Identity routing
       ↓
┌─────────────┐
│             │
stream1 → 1   │
stream2 → 2   │
stream3 → 3   │
└─────────────┘


Permutation routing
       ↓
stream1 → 3
stream2 → 1
stream3 → 2


mHC
       ↓
0.5 × routing A
+ 0.3 × routing B
+ 0.2 × routing C

因此它既比普通 residual connection 灵活得多，又不像任意矩阵那样能够胡乱放大信号。

10. 为什么论文还说 spectral norm ≤ 1？

论文列出的另一个性质是：

\lVert H\rVert_2\le1

从而 mapping 是 non-expansive。

直觉上就是：

H 可以重新分配、平均、混合信息，但不能把输入向量的 L_2 能量任意放大。

严格一点，因为双随机矩阵满足：

\lVert H\rVert_\infty=1

以及：

\lVert H\rVert_1=1

于是：

\lVert H\rVert_2 \le \sqrt{\lVert H\rVert_1\,\lVert H\rVert_\infty} =1

因此：

\lVert Hx\rVert_2\le\lVert x\rVert_2

这就是为什么梯度不容易爆炸。

不过这里我建议对论文的“Norm Preservation”这个词稍微谨慎理解：

它并不意味着所有向量的 norm 都完全不变。

比如：

H= \begin{bmatrix} 0.5&0.5\\ 0.5&0.5 \end{bmatrix}

对于：

x= \begin{bmatrix} 1\\ -1 \end{bmatrix}

结果：

Hx= \begin{bmatrix} 0\\ 0 \end{bmatrix}

norm 显然缩小了。

所以更准确地说是：

\boxed{\text{non-expansion / norm upper-bound}}

它主要阻止爆炸，并严格保持 stream mean/common-mode，而不是保证所有 feature direction 都完全不衰减。

11. 那模型怎么保证学出来的 H 是双随机的？

它没有直接要求优化器自己学会这些约束。

模型先正常生成一个任意矩阵：

\tilde H_l^{res}

这个矩阵是由当前 hidden states 动态生成的。论文先 flatten X_l，经过一个 linear projection 得到动态 mapping。

之后：

H_l^{res} = \operatorname{SinkhornKnopp}(\tilde H_l^{res})

Sinkhorn-Knopp 做的事情可以粗略理解成：

第一步：保证所有元素为正

M^{(0)}=\exp(\tilde H)

第二步：行归一化

例如：

[2,3,5] \rightarrow [0.2,0.3,0.5]

第三步：列归一化

让每列也变成 sum=1。

但是列归一化之后，行可能又有一点偏。

于是不断：

行归一化
 ↓
列归一化
 ↓
行归一化
 ↓
列归一化
 ↓
...

最终逼近：

\begin{cases} \text{row sum}=1\\ \text{column sum}=1 \end{cases}

论文实际用了 20 次迭代。

所以整个过程其实是：

\boxed{ X \rightarrow \text{预测任意 routing logits} \rightarrow Sinkhorn \rightarrow \text{合法的双随机 routing} }

12. 这张矩阵在整篇论文里的真正作用

如果压缩成一句话：

mHC 的双随机矩阵是在“普通残差的稳定性”和“HC 多 residual stream 的表达能力”之间搭了一座桥。

可以把三种架构这样对比：

方法	Residual routing	优点	问题
普通 Residual	I	极其稳定	residual topology 很简单
HC	任意 H	信息路由能力很强	多层连乘可能爆炸/消失
mHC	Doubly Stochastic H	可以混合，同时约束增益	需要 Sinkhorn + 工程优化

本质上就是：

Residual
H = I

稳定性 ★★★★★
灵活性 ★


HC
H = arbitrary matrix

稳定性 ★★
灵活性 ★★★★★


mHC
H ∈ Birkhoff Polytope

稳定性 ★★★★★
灵活性 ★★★★

13. 我认为最值得你记住的一个视角

不要把 mHC 理解成：

“DeepSeek 找了一种特殊的归一化方法。”

这样会低估这篇论文。

它真正做的是一个架构层面的约束设计：

\boxed{ \text{把残差连接从一个固定 identity operator} \rightarrow \text{扩展成一个受约束的 learnable routing operator} }

普通 residual：

HC：

H\in\mathbb R^{n\times n}

mHC：

\boxed{ H\in \{H\ge0,\ H\mathbf1=\mathbf1,\ \mathbf1^TH=\mathbf1^T\} }

也就是把搜索空间从所有矩阵限制在 Birkhoff Polytope 上。

这样模型仍然能学习：

“这一层到底应该从哪几个 residual streams 读取多少信息？”

但不允许学习：

“把这个 stream 放大 37 倍、另一个乘 -16，再让这种增益连续累积 100 层。”

因此它限制的不是信息流动方向，而主要限制的是信息流动的增益。

这也是为什么论文最终实验中，原 HC composite gain 可以接近 3000，而 mHC 即使因为 Sinkhorn 只迭代 20 次而不是得到数学上的精确双随机矩阵，最大 composite gain 也只有大约 1.6，相差约三个数量级。

所以如果用一句最形象的话：

HC 相当于给 residual stream 修了很多互通的高速公路，但每条路的“信号增益”没有限速；mHC 保留了这些互通道路，却规定每个路口只能重新分配已有流量，不能凭空制造流量，而且这个规则无论经过多少个路口都成立。

这就是“双随机矩阵”在这篇论文里发挥作用的核心原理。