跟踪一条请求
逐步检查数据是什么、由谁处理、存放在哪里。张量形状来自 Qwen3-8B 配置；流程是教学剖面，不运行模型。
Prefill 隐藏状态形状
输入 KV 理论容量 · BF16
每个 Token 的 KV · 全部 36 层144 KiB
单序列、无前缀共享、无分片。KV = 2 × 36 × 8 × 128 × T × 2 字节；未计入分页取整与其他运行开销。修改长度只更新形状与容量，不预测延迟。
同一段文字，四种表示
选择真实分词样本，再点选任一 Token。下面的字节实验允许任意输入；真实 Token 样本由固定分词器离线生成。
嵌入查表：整数如何成为向量？
真实模型 E 的形状为 [151936, 4096]。对 Token ID i，x = E[i, :]。这里不下载模型权重，也不展示伪造的真实向量。下方是可手算的独立玩具矩阵。
Unicode 与 UTF-8 实验
字符数按 Unicode 码点统计，不等于用户感知字符数；字节数来自 UTF-8 编码。此输入框不执行 Qwen 分词。