← 第 3 章数学番外正文NUMERICAL + CONTINUOUS LAB / 03

一个层,两种数学视角

先逐项核对离散矩阵,再把同一组状态看成沿网络深度演化的函数。连续视角来自算子拆分框架,是对经典 Transformer 的一种数学解释,不是模型在芯片上的实际连续运动。

3 个位置、d=4、2 个 Q 头共享 1 个 KV 头、单头维度 2、MLP 维度 6。全部为固定人造权重,计算顺序对照 Qwen3;数值不是实际模型输出。

因果性检查

拖动最后位置的输入。掩码开启时,前两个位置的最终输出相对基线应保持不变;关闭掩码会成为允许读取未来的反事实实验。

查看本次数值与全部玩具权重