Recurrent Looped Transformer 图解:让状态跨 Token 继续思考
拆解 Recurrent Looped Transformer:连续隐藏状态、Encoder 全局记忆、Decoder 滑窗 KV、可扩展时间深度与当前策略回放;同时说明这个新项目目前能证明什么、不能证明什么。
拆解 Recurrent Looped Transformer:连续隐藏状态、Encoder 全局记忆、Decoder 滑窗 KV、可扩展时间深度与当前策略回放;同时说明这个新项目目前能证明什么、不能证明什么。
拆解两条 258 字符的 code-golf 点函数:一条把 10,000 个索引按 19 取模分成 19 只独立水母,另一条按 2 取模分成两株海扇。附可逐字运行原始代码、可按余数类分解的全屏交互可视化。
换一个连续数学视角理解 Transformer:Token 是空间位置,特征是另一条坐标轴,网络深度是时间;Attention 是非局部积分,归一化是约束投影,一层网络是一次算子拆分。
Dan Koe 的一封信:为什么「现实」的目标注定通向平庸,而真正拉开差距的是那些看起来不可能的目标。本篇为英文原文 + 中文逐段翻译,不做解读。
调节波长、WDM 通道、NRZ/PAM4、PRBS、符号率、损耗、抖动与温度,观察 NPO 链路如何从电波形影响到光谱、眼图和误码。
用五段真实处理器轨迹,逐周期观察取指、调度、执行、访存、ROB、提交、寄存器重命名与错误路径恢复。
逐页复刻 J.P. Morgan《Technology – Electronic Components》(2026-09-11,62 页)并附中文结构化解读:MLCC 需求结构向 AI 服务器迁移、单机架价值量 3.6 倍跃升、技术代际驱动的利润率非线性,以及基板与供给侧证据。
整理自 Silicon Co-Design(Chad):基于 SK hynix 与 KAIST 的 ECTC 2026 论文,拆解 HBM5 迈向 20-30 Gb/s 时传输线效应显现、1000+ 并行 I/O 无法端接、PSIJ 挤压抖动预算的协同设计难题。英文原文(免费部分)+ 中文深度解读;🔒 付费段未包含。
建立可复现推理基准:固定软件与请求分布,区分 TTFT、TPOT、ITL、E2EL、吞吐、goodput 与百分位,并避免常见误导。
比较 TP、PP、DP、EP 的切分对象、通信 collective、内存收益与延迟代价,并用简化 Ring AllReduce 模型形成上界。