从一个 Token 到 AI Factory：LLM 推理从数学到硬件的完整链路
从 Attention、MLA 与 MoE 的数学和字节账，追踪一枚 Token 如何穿过 HBM、Scale-up Fabric、Vera Rubin NVL72、Atlas 950，最终抵达 NPO/CPO。
MATHEMATICS → SILICON → FABRIC → OPTICS
“输出下一个词”看似只是一次概率采样。沿着数据向下追踪，它会变成矩阵乘法、HBM 读写、专家路由、机架内互联、跨机柜光链路，最后进入电力与每 Token 成本的账本。
- 阅读时间 约 28 分钟
- 交互原型 3 个
- 核心问题 数据去了哪里？
从概率到矩阵：一枚 Token 的数学路径
语言模型做的事情可以压缩成一句话：在已经出现的 Token 条件下，为下一个 Token 建立概率分布。
\[P(x_t\mid x_{<t})\]这条式子很短，却掩盖了物理实现的全部复杂性。文本先被 tokenizer 映射为离散 ID；查表得到 embedding 后，每个 ID 变成一个高维向量。位置编码把顺序写入向量，线性投影再生成 Query、Key、Value。对单个 attention head，可以写成：
\[Q=XW_Q,\qquad K=XW_K,\qquad V=XW_V\] \[\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V\]如果只看符号，attention 像一次优雅的相似度查询；落到机器上，它是成批 GEMM、归一化、指数运算与归约。序列长度从 N 增长到 2N，显式 attention score 的元素数从 N² 增至 4N²。数学结构没有改变，数据搬运量却改变了硬件瓶颈的位置。
关键转折 公式描述依赖关系；系统性能取决于这些关系被切成多少次内存与网络传输。
这也是 FlashAttention 的意义。它没有修改 $\operatorname{softmax}(QK^\top)V$，而是改变中间状态在 HBM 与片上 SRAM 之间的旅行方式。通过 tiling、在线 softmax 和片上重用，巨大的 N×N 矩阵不必完整落到 HBM。结果不是“少算一点”，而是少搬很多次。
INTERACTIVE / 01
Transformer Math Explorer
一个可操作的极简单头 attention。向量只有 4 维，数值由 Token 稳定生成，用来观察关系，不代表真实模型权重。
从参数到字节：DeepSeek 的推理账
模型参数量首先是一个数学规模，进入推理系统后却立即变成容量、带宽和通信问题。
DeepSeek-V3 是一个适合算账的样本：主模型约 671B 参数，每个 Token 激活约 37B；61 层 Transformer，hidden dimension 为 7168，并使用 MLA 与稀疏 MoE。公开技术报告给出的这些数字，使“算法选择如何改写硬件需求”可以落到数量级上，而不是停留在形容词。[1]
MLA：多做投影，少存状态
标准 MHA 的 KV cache 随层数、序列长度与 head 数增长。MLA 不长期保存每个 head 的完整 K/V，而是缓存低维 latent representation，在使用时重建所需分量。以 V3 的 512 维 KV latent 与 64 维 RoPE 分量做近似，BF16 下每层、每 Token 的缓存约为 (512 + 64) × 2 B；乘以 61 层得到约 68.6 KiB/Token。
这不是免费午餐。重建 K/V 增加了一些计算，却大幅降低长上下文下的驻留状态与读取流量。现代 AI 系统里，多算一点有时比多搬一点更便宜。
MoE：减少激活计算，同时制造路由流量
稀疏 MoE 让每个 Token 只访问少量专家。671B 是模型容纳的总知识容量，37B 更接近单 Token 的活跃计算规模。收益是 FLOPs 下降；代价是 Token activation 需要被 dispatch 到专家所在设备，计算后再返回。如果专家跨 accelerator 分布，数学上的 Top-K 会直接变成 All-to-All。
\[E[T_{comm}]=\sum_i P_iT_i,\qquad T_{local}<T_{board}<T_{rack}<T_{cluster}\]优化并不能让跨机柜访问等同本地访问。它能做的是降低各级 $T_i$，并通过 expert placement、批处理与拓扑感知调度，让更多流量落在较低成本的 $P_i$ 上。
INTERACTIVE / 02
DeepSeek Inference Calculator
基于公开 V3 架构的数量级估算。它不是性能预测器，而是一张可以拨动的资源账。
假设：671B 总参数、37B 激活参数、61 层、MLA 缓存维度 512+64、58 个 MoE 层、Top-8、BF16 activation。实际部署会受量化元数据、MTP、分组 GEMM、缓存命中、并行策略、通信重叠与 kernel 效率影响。
从 GPU 到 AI Factory：网络进入执行路径
单芯片的 roofline 只在边界之内成立。一旦模型被切到多颗 accelerator 上，网络就不再是外设，而是 Transformer layer 的组成部分。
\[T_{step}=f(T_{compute},T_{memory},T_{communication},T_{synchronization},T_{software})\]Tensor Parallel 产生 AllReduce、AllGather 或 ReduceScatter；Expert Parallel 产生 All-to-All。好的实现会重叠计算与通信，所以这些项不能机械相加。但只要同步或拥塞进入关键路径，更多峰值 FLOPs 就无法自动变成更多 Token。
在低 batch decode 中，权重复用率低。若每 Token 激活 37B 参数，FP8 仅活跃权重就对应约 37 GB。把 batch 提高到 32，理论上的单位 Token 权重读取可以显著摊薄；与此同时，队列等待、KV 容量和 tail latency 又可能上升。推理优化因此不是单一指标竞赛，而是吞吐、首 Token 延迟、Token 间延迟和能耗的多目标问题。
AI Factory 不是“数据中心里放了很多 GPU”的新名字。它是一台空间尺度扩展到机架、Pod 乃至整座建筑的计算机；网络负责让分散在不同硅片上的模型状态，尽量表现得像一个系统。
INTERACTIVE / 03
Token-to-AI-Factory Map
拖动尺度，观察同一枚 Token 从片上计算到跨机柜网络时，主导资源如何改变。数据为工程数量级示意。
—
- DATA OBJECT
- —
- BANDWIDTH
- —
- LATENCY
- —
- ENERGY / BIT
- —
两种系统边界：Vera Rubin NVL72 与 Atlas 950
两条路线都在缩短 Token 的端到端时间。真正的差异，不是 72 与 1024 两个数字，而是系统边界划在哪里。
Vera Rubin NVL72
NVL72 把 72 颗 Rubin GPU 与 36 颗 Vera CPU 组织成一个机架级系统。NVLink 6 提供 GPU 间 scale-up：官方公开数据为每 GPU 3.6 TB/s，整机架 260 TB/s；再由 ConnectX、InfiniBand 或 Spectrum-X 向更大的 AI Factory scale-out。[2]
Atlas 950 SuperPoD
Atlas 950 选择继续扩大逻辑上的单一计算域。华为在 WAIC 2026 展示的 1024 卡系统具有 256 TB 全局统一内存编址空间、TB 级 NPU 互联与约 3 μs RTT；产品路线描述的上限为 8192 NPU。[3]
| NVIDIA / RACK-SCALE | HUAWEI / SUPERPOD | |
|---|---|---|
| 基本计算域 | 72-GPU rack | 多机柜 SuperPoD |
| 紧耦合互联 | NVLink 6 / NVSwitch | UnifiedBus / 灵衢 |
| 继续扩展 | InfiniBand / Spectrum-X | 统一内存语义 + 光互联 |
NVL72 的路径很清楚：先把 rack 做成高性能、可维护的 scale-up 单元，再用 scale-out 网络组合更多 rack。Atlas 950 更强调把跨物理节点统一编址、对等互联与资源调度放进同一个 SuperPoD 语义，尝试扩大“逻辑上一台计算机”的范围。统一地址空间当然不会消除物理距离；它改变的是软件看到资源、放置任务和组织通信的方式。
韬（τ）定律：系统究竟应该缩放什么
何庭波在 2026 年发表的 A Time Scaling Theory for Multi-Layer Electronic Systems 把“特征时间” $\tau$ 作为跨层统一目标：从晶体管开关、电路关键路径、芯片内存访问，一直到数据中心 workload，优化对象不再只是几何尺寸，而是完成一次有意义操作所需的时间。论文把这一视角跨越约十二个数量级，并将 Unified Bus、near-packaged optical I/O 与 3D Folding 放入同一系统级缩放框架。[4]
\[T_{token}\approx T_{compute}+T_{memory}+T_{communication}+T_{synchronization}+T_{software}\]各项实际上可以重叠，因此上式是结构图，不是精确求和。它的重要性在于：如果晶体管继续变快，而 HBM、跨芯片通信或 barrier 没有同步缩短，用户观察到的 $T_{token}$ 不会按比例改善。MLA、FlashAttention、UnifiedBus 与光 I/O 工作在不同物理尺度，却都可以解释为让有效 $\tau$ 下降。
Nested Parallel von Neumann Architecture：怎样组织百万处理器
廖恒 2026 年 9 月的预印本把经典 BSP 扩展为 Nested BSP，并提出与之对应的 Nested Parallel von Neumann Architecture。经典 BSP 反复执行本地计算、交换与 barrier；当系统本身由芯片、板、机架、SuperPoD、集群等多层并行域构成时，一个平面的 BSP 已经不能表达不同距离上的成本。
- OUTER Cluster / Data Parallel
- MIDDLE SuperPoD / Expert Parallel
- INNER Accelerator / Tensor Parallel
- MIDDLE SuperPoD / Expert Parallel
Nested BSP 让计算—交换—同步在每一级递归出现；Nested Parallel von Neumann Architecture 则把处理器、内存、存储和网络看作能够逐层嵌套成更大“计算机”的资源，并强调 memory-semantic bus 与 peer equality。[5] 这为 Atlas 950 的三个关键词提供了理论位置：统一内存编址解决资源如何被同一系统语义访问；UnifiedBus 解决物理互联；SuperPoD 扩大紧耦合域；Nested BSP 描述不同尺度的并行怎样组织。
\[\boxed{T_{token}\;\sim\;\sum_i P_i\tau_i}\]这是本文把两套思想映射到 Token 数据流后的简化模型，并非两篇论文直接给出的公式。$\tau_i$ 是第 $i$ 个物理层级的特征时间，$P_i$ 是工作落在该层级的比例。τ scaling 试图降低每一级的时间；nested architecture 则重新组织边界与 locality，让更多工作留在较低 $\tau$ 的区域。
为什么这条链最终走向 NPO 与 CPO
扩大逻辑计算域，会把高速互联推向更长的物理距离。光不是叙事终点，而是电通道预算开始失去经济性后的结构性结果。
以 PAM4 为例，忽略编码开销，200 Gb/s 每 lane 对应约 100 GBaud，Nyquist frequency 已在 50 GHz 量级。继续走向 400 Gb/s/lane，符号率与通道损耗、反射、串扰的压力一起上升。FFE、CTLE、DFE、retimer 与 DSP 可以延伸电通道，但每一项都消耗功率、面积和时延。
- PLUGGABLE
ASIC → package → PCB → connector → module → fiber - NPO
ASIC → short electrical → optical engine → fiber - CPO
ASIC → package interconnect → optical engine → fiber
NPO/CPO 的核心价值不是“把光模块放得更近”这句空间描述，而是缩短最难处理的高速 electrical channel。Broadcom 的 Tomahawk 6 Davisson 把 16 个 6.4 Tb/s optical engine 与 102.4 Tb/s switch 组合在一起，以 200 Gb/s/channel 工作；NVIDIA Spectrum-X Ethernet Photonics 的 SN6800 则公开了 409.6 Tb/s 总带宽、512×800G 或 2048×200G 的端口尺度。[6][7]
\[\text{Transformer}\rightarrow\text{Parallelism}\rightarrow\text{Communication}\rightarrow\text{SerDes}\rightarrow\text{Channel Loss}\rightarrow\text{Optical I/O}\]这条链也解释了为什么不能把“AI 带动光模块”理解为简单的采购量增长。MoE 与 Tensor Parallel 改变通信模式；通信模式决定 fabric；fabric 推高 lane rate 和 I/O density；电通道的 reach 与 energy/bit 再决定 E/O 转换点向哪里移动。光互联是模型结构经由系统工程传导后的结果。
从 FLOPs/W 到 Tokens/W：最后是一张经济账
用户不购买 FLOPs。在线推理真正出售的是有延迟约束的 Token；数据中心真正受限的是功率、冷却与可用资本。
因此评估尺度会从峰值 PFLOPS，逐渐移动到 Tokens/s、Time to First Token、Inter-Token Latency，再进入 Tokens/J、Tokens/s/MW 与 Cost/Token。一次互联改进只有 1 pJ/bit，看似微不足道；在持续搬运 10¹⁸ bit 的系统里，它对应 10⁶ J。当这种差异被成千上万条链路、全年负载和冷却系统再次放大，物理层就会进入商业模型。
重新回到开头：用户输入文本，tokenizer 产生 ID；embedding 与 RoPE 写入语义和位置；attention 与 MoE 生成新的 hidden state。公式被编译成 kernel，tensor 在 register、SRAM、HBM 之间移动；跨设备的 activation 进入 scale-up fabric，跨机架流量进入 scale-out network，必要时从 electrical 转为 optical。几十层之后，LM head 产生 vocabulary logits，采样得到下一枚 Token，然后整个过程再次开始。
\[\boxed{\text{Token}\rightarrow\text{Tensor}\rightarrow\text{GEMM}\rightarrow\text{HBM}\rightarrow\text{Fabric}\rightarrow\text{Optics}\rightarrow\text{Token}}\]Transformer、DeepSeek、HBM、Scale-up、AI Factory、NPO 与 CPO 并不是恰好同时热门的名词。它们是同一个计算问题沿不同空间尺度展开后，留下的一串工程截面。
口径与资料
文中互动计算器用于解释变量之间的关系；除特别标明的公开规格外，结果均为简化上界或数量级估算，不构成真实性能承诺。硬件规格会随产品版本、精度口径、双向/单向带宽定义和系统配置而变化。
- [1] DeepSeek-AI, DeepSeek-V3 Technical Report / official repository
- [2] NVIDIA, Inside the Vera Rubin Platform
- [3] 华为，昇腾 950 超节点真机亮相 2026 世界人工智能大会
- [4] Tingbo He, A Time Scaling Theory for Multi-Layer Electronic Systems
- [5] Heng Liao, Nested Parallel von Neumann Architecture and Nested BSP
- [6] Broadcom, Tomahawk 6 — Davisson CPO
- [7] NVIDIA, Spectrum-X Ethernet Photonics