一、为什么需要新维度
AI 推理已经从"短跑"变成了"马拉松"。Agent 场景下，一次任务不再是单次问答，而是成百上千次模型调用，每次调用都需要读取模型权重和 KV Cache。瓶颈从"算得够不够快"转向了"数据供给效率"——计算单元大部分时间在等数据，而不是在算数据。
🔴 传统：TFLOPS / TOPS
衡量"一秒能做多少次浮点运算"
适用 Prefill（计算密集）
代表：NVIDIA H100/B200，AMD MI300
→
🟢 新维度：TPS（Tokens Per Second）
衡量"Decode 阶段每瓦能吐出多少 Token"
适用 Agent 推理（内存密集）
代表：3D 近存计算、LPU、TokenPU
为什么 3D 芯片在这个新维度上有天然优势？因为它们从根本上缩短了计算与存储之间的物理距离——HBM 的 3D 堆叠让数据垂直穿梭而非水平绕路，3D 近存/存算融合更是把计算搬到了数据旁边。用马力衡量电动车续航没有意义——你需要的是能耗/公里（Token/J）。
二、三门生意：同叫"3D芯片"，完全不同的产业逻辑
Omdia 分析师何晖："3D堆叠本质上是一种芯片集成形式——为了节省面积、缩短传输距离，把不同芯片纵向叠在一起。其中既包括逻辑与存储，也包括逻辑与逻辑、存储与存储。"但堆叠的对象和目标不同，意味着完全不同的市场、工程难题和验证标准。
第一门 · 逻辑 + 逻辑
Chiplet 重组
拆分计算 Die，绕过单芯片面积墙，延续性能扩展
TSMC SoIC — 3nm 量产，Chiplet 全球底座
Intel Foveros Direct — 9μm→3μm 混合键合
AMD MI300 — 8 GPU Die + 4 I/O Die 垂直堆叠
博通 XDSiP — 3.5D 平台，2nm 定制 SoC
验证指标：Die-to-Die 互联带宽与延迟｜主导方：晶圆代工厂
第二门 · 存储 + 存储
存储扩容
在有限封装面积内装入更多、更快的存储
三星 HBM4 — 12层 36GB，2026Q2 交付
SK 海力士 HBM4E — 16层 48GB 已送样
闪迪/SK HBF — NAND 高带宽 512GB，3TB/s
长江存储 Xtacking 4.0 — 国产 NAND 晶圆键合
AMD 3D V-Cache — CPU 上叠 SRAM 缓存
验证指标：带宽/容量/成本｜主导方：存储 IDM
第三门 · 逻辑 + 存储垂直集成
存算融合
打破"计算在一边、存储在另一边"的传统架构
东方算芯 DF1000 — 软件定义，2026.07 量产
高通 HBC — 133TB/s 带宽，2027 送样
紫光国芯 SeDRAM — 已量产 40+ 芯片设计
TOR / 扶光 / 算苗 / 清微 / 凌川 — 国产创业集群
验证指标：TPS（Token 吞吐）和单位 Token 成本｜主导方：芯片设计 + 封装厂
核心区分：第一门和第二门都可以纳入现有功率-算力图（MI300 已在 DC 图中，HBM 是存储而非算力芯片）。第三门才是真正需要"另开一维"的——它们的核心竞争力不在 TFLOPS，而在 TPS/Watt 和 Token 成本。用传统算力图衡量它们，就像用马力表评价电动车的续航。
三、21 家厂商商业化进程
判断标准来自产业观察者程伊："企业在真芯片上跑通 Decode，最好还能完成 Attention 算子的验证，最终展示足够高的 TPS。"
| 企业 / 产品 | 技术路线 | 阶段 | 关键进展 |
|---|
| TSMC SoIC | Chiplet 晶圆键合 | 量产 | 3nm 节点 2025 量产，AMD/博通等 Chiplet 底座 |
| Intel Foveros Direct | 逻辑-逻辑混合键合 | 量产 | 至强 6+ 2026 上市，二代 3μm 规划中 |
| AMD Instinct MI300 | GPU Chiplet 3D 堆叠 | 量产 | 2023 量产，首款大规模商用 3D 堆叠 GPU |
| 三星 HBM4 | 12层 DRAM 堆叠 | 量产 | 2026Q2 交付，NVIDIA Rubin 平台标配 |
| SK 海力士 HBM4E | 16层 DRAM 48GB | 送样 | 2026.06 客户送样，Rubin Ultra 竞标优势 |
| 博通 XDSiP | 3.5D 计算模块 | 量产 | 2026.02 向富士通交付 2nm 定制 SoC |
| 长江存储 Xtacking 4.0 | NAND 晶圆键合 | 量产 | X4-9070 商用，搭载于致态 TiPro9000 |
| AMD 3D V-Cache | CPU 缓存堆叠 | 量产 | 2022 上市，消费（5800X3D）+ 服务器（Milan-X） |
| 紫光国芯 SeDRAM | DRAM + 逻辑垂直集成 | 量产 | 近 40 款芯片量产支持，国产商业化最成熟 |
| 东方算芯 DF1000 | 双存储夹逻辑 · 软件定义 | 量产 | 2026.07 发布，WAIC SAIL 大奖，已量产交付 |
| 瑞芯微 RK182X | DRAM 堆叠封装 AIoT | 验证 | 多模型终端展示，已列入正式产品体系 |
| 凌川科技 | 全国产 3D 堆叠芯片 | 流片 | SL200 VPU 已出货近10万颗，A+轮数亿元 |
| 算苗 TokenPU A4E | 8层存储+逻辑晶圆 3D | 流片 | 2026.06 流片，产品名绑定 Token 生成场景 |
| TOR TC1000 | NPU + DRAM 纵向集成 | 规格 | 数万垂直互联通道，已公布规格 |
| 扶光 LPU | 3D 近存双层存储 | 规格 | 近存 KV Cache + 外部 2D 权重分层策略 |
| 清微智能 TX82 | 3.5D 异构堆叠 | 首秀 | WAIC 2026 首秀，1 逻辑 + 4 存储 Chiplet |
| 高通 HBC | 近存计算 AI250/300 | 规划 | 133TB/s，较 LPDDR5X 提升 18 倍 |
| 三星 HBM-PIM | HBM 内嵌 AI 处理 | 验证 | 技术验证阶段，存内计算大厂标杆 |
| 思敏威 HPU | 全栈 3D+CIM+RISC-V | 种子轮 | 2025 成立，种子轮近亿元 |
| 微纳核芯 3D-CIM | DRAM+SRAM 存内计算 | 研发 | B 轮超 10 亿元，兆易创新战略投资 |
阶段颜色：
概念/研发 →
流片 →
送样/验证 →
量产
四、从架构到产品：三道工程门槛
第一道
真芯片验证
Proof of Silicon
• 跑通 Decode（最好完成 Attention 算子验证）
• 展示真实 TPS（非 PPT 推算）
• 高带宽必须兑现为 Token 吞吐
第二道
封装制造
散热 · 翘曲 · 良率
• 计算/存储 Die 尺寸与热膨胀不匹配 → 应力
• 4–6 层是现阶段更现实的工程范围
• 封装须综合判断 Die 尺寸+中介层+走线
第三道
软件栈
ISA · 编译器 · 算子库 · 框架
• ISA 能否表达 3D 访存与计算模式？
• 编译器能否自动优化数据放置？
• PyTorch 兼容性？Attention/GEMM 效率？
五、Prefill / Decode 分工：第三门芯片的部署锚点
为什么 3D 芯片天然适合 Decode？答案在 AI 推理的两个阶段——它们的计算特征正好互补。
两个阶段，两种瓶颈
🔴 Prefill（预填充）
一次并行处理全部输入 Token
计算密集：大矩阵乘法占主导
核心指标：TTFT（首 Token 延迟）
瓶颈：算力（TFLOPS）
vs
🟢 Decode（解码）
逐个 Token 自回归生成
内存密集：频繁读取 KV Cache 和权重
核心指标：TBT（每 Token 延迟）、TPS
瓶颈：带宽 + 容量
当前四种分工方式
从软件到硬件，分工层级逐步加深——越往右，硬件专业化程度越高，性能/功耗比越好。
| 层级 | 方案 | 原理 | 成熟度 |
|---|
软件层
同 GPU | vLLM PD 分离 | 同一集群内划分 Prefill 实例和 Decode 实例，独立扩缩容 | 生产 |
| SARATHI | Chunked Prefill：切成小块穿插 Decode，减少排队延迟 | 生产 |
集群层
不同 GPU 池 | DistServe | Prefill 高算力集群 + Decode 大显存集群，TTFT 降 4× | 生产 |
| Mooncake | 月之暗面 Kimi 生产方案：400Gbps RDMA 传输 KV Cache 跨池 | 生产 |
异构硬件层
不同芯片 | GPU + Groq LPU | GPU 做 Prefill，Groq LPU（200W，架构天然低延迟）做 Decode | 商用 |
| GPU + 3D 近存芯片 | H100/B200 Prefill + 东方算芯 DF1000 / 算苗 TokenPU Decode | 验证 |
| 高通 HBC + 主加速器 | 主 GPU 复杂任务，HBC（133TB/s）负责访存密集型 Decode | 规划 |
片内层
硬件分区 | NVIDIA MIG / 博通 XDSiP | 同一芯片内不同 Chiplet 分配 Prefill/Decode 任务（技术基础具备） | 前瞻 |
为什么 3D 芯片的机会在 Decode？
Decode 的瓶颈正好是 3D 堆叠的优势所在：
短数据路径
Decode 每次生成 Token 都要读取全部 KV Cache。3D 近存把 Cache 和计算单元垂直堆叠，物理距离从厘米级缩短到微米级。
带宽换算力
Decode 阶段 GPU 的 ALU 利用率通常只有 5–15%（大部分时间在等数据）。3D 芯片用更低的峰值算力 + 更高的有效带宽实现更高的 TPS/Watt。
功耗天花板内竞争
在 150–300W 的散热极限下，不可能正面拼 TFLOPS。但在"每瓦特吐出多少 Token"这个维度上，带宽效率比算力密度更关键。
演进路径：
同 GPU 调度分离 (2023–2024) →
不同 GPU 池分工 (2024–2025) →
不同芯片类型分工 (2025–2027)
六、与现有功率-算力图的关系
现有两张图（数据中心 + 边缘 AI）覆盖了第一门和第二门的主要芯片：AMD MI300、NVIDIA H200 / B300 等属于 Chiplet 重组范畴，HBM 属于存储扩容范畴。但第三门（存算融合）的竞争维度已经变了——它们的核心指标不是 TFLOPS 而是 TPS/Watt，评价体系不同，不适合"硬塞"进同一坐标系。
建议后续方向：等东方算芯 DF1000、算苗 TokenPU、凌川科技等产品的第三方 benchmark 数据（TPS/Watt、Token 成本）披露后，建立"推理效率天梯"——届时 3D 芯片将成为这条新坐标系的天然主角。