🌍 全球之旅:一张 H100 跨越 10+ 国
一、架构设计(12–24 个月)
这一阶段不产生物理产品,只有代码和图纸——但它是价值密度最高的环节。NVIDIA 的毛利率 70%+ 就来自这里。
| 步骤 | 工具/产出 | 关键玩家 |
|---|---|---|
| 架构定义 | CUDA Core、Tensor Core、SM 单元设计 | NVIDIA 架构团队 |
| RTL 编码 | Verilog/VHDL 寄存器传输级代码 | 芯片设计工程师 |
| 逻辑综合 | Synopsys Design Compiler | EDA 三巨头 |
| 物理设计 | Cadence Innovus → GDSII 版图 | 后端团队 |
| 验证仿真 | Mentor Graphics / Synopsys VCS | 验证工程师 |
| IP 集成 | PCIe(Synopsys)、HBM 控制器(Rambus) | IP 授权商 |
- 一颗 H100 含 800 亿晶体管,GDSII 版图文件数百 GB
- 设计团队 500–1000 人 × 18 个月,流片前成本 $500M–$1B
- 一次流片(tape-out)光罩费用 $30–50M(5nm 节点)
二、晶圆制造(3–4 个月)⚙️
这是人类最精密的大规模制造——7nm 相当于在头发丝截面上刻一万条线。主角:台积电 / 三星。
| 步骤 | 设备 | 做什么 |
|---|---|---|
| ① 硅锭生长 | Czochralski 炉 | 99.9999999% 纯硅拉成 300mm 晶柱 |
| ② 切片抛光 | 线锯 + CMP | 切成 0.7mm 薄片,原子级平整 |
| ③ 光刻(×80层) | ASML EUV($200M/台) | 13.5nm 极紫外光将电路图案投影 |
| ④ 刻蚀 | Lam Research / TEL | 等离子体选择性挖掉不需要的材料 |
| ⑤ 离子注入 | Applied Materials | 硼/磷/砷原子打入硅晶格,改变电性 |
| ⑥ 沉积 | CVD/PVD 设备 | 原子层沉积铜互联、高K介质、金属栅极 |
| ⑦ CMP 抛光 | Applied Materials | 每层做完后磨平,为下一层光刻准备 |
| ⑧ 晶圆测试 | Advantest / Teradyne | 探针卡接触每个 die,测功能+频率+功耗 |
核心瓶颈:EUV 光刻
一台 ASML NXE:3400C:重 180 吨,运输需 40 个集装箱 + 3 架波音 747;每天耗电 ~1 MWh;需要蔡司反射镜(全世界只有蔡司能做,精度 = 从地球打高尔夫球进月球上的洞);年产能仅 ~50 台。
一片 300mm 晶圆经过 3–4 个月、1,000+ 道工序后切割成数百颗芯片。H100 的台积电 4nm 良率约 70–80%。
三、先进封装(2–4 周)🔗
AI 芯片的算力瓶颈不在计算单元,在内存带宽。HBM 解决了问题,但封装难度暴涨。主角:台积电 CoWoS。
| 阶段 | 工艺 | 关键材料 | 供应商 |
|---|---|---|---|
| CoW(Chip on Wafer) | GPU die + 6×HBM3 → 微凸点键合 | 硅中介层(含 TSV) | 台积电 |
| WoS(Wafer on Substrate) | 硅中介层 → 倒装焊 | ABF 有机基板(14+层) | 欣兴 / Ibiden |
| HBM3 内存 | 1024-bit 总线,3.35 TB/s | 锡银微凸点(35μm间距) | SK 海力士 / 三星 |
CoWoS 是当前最大的产能瓶颈。台积电 2023 年月产能仅 ~12,000 片晶圆,2024 年扩至 ~30,000 片,仍无法满足 NVIDIA——这就是为什么 H100 交货周期长达 6–12 个月。
四、从芯片到板卡:GPU 变 AI 加速卡
台积电 CoWoS 封装完成→一颗封装好的 GPU 模块(die + HBM + 硅中介层)出厂。但此时它还不能工作——它只是一块裸露的芯片模块,没有任何外围电路。把它变成一张能插进服务器的"卡",还需要四步大工程。
4.1 PCB 设计与制造(Design + Fab)
PCB 设计(4–8 周)
AI 加速卡的 PCB 不是普通电路板。H100 的 PCB 有 20–26 层(普通消费显卡 8–12 层),层数越多意味着高速信号层和电源层可以分离隔离,确保 PCIe 5.0 和 NVLink 的 56 Gbps 信号质量。
| PCB 参数 | 消费级 RTX 4090 | 数据中心 H100 |
|---|---|---|
| 层数 | 12–14 层 | 20–26 层 |
| 基材 | FR-4 高 Tg | Megtron 6/7 超低损耗 |
| 铜厚 | 1–2 oz | 2–4 oz(电源层) |
| 最小线宽/间距 | 75/75 μm | 50/50 μm |
| 板厚 | 1.6mm | 2.0–2.4mm |
| 供应商 | 鹏鼎/景旺 | 臻鼎/欣兴/AT&S |
PCB 的关键是 信号完整性(SI)。NVLink 单 lane 速率 56 Gbps,信号在铜线上的衰减让有效传输距离只有几十厘米——每一毫米的走线长度差都会导致时序偏移(skew),必须用蛇形线(serpentine)补偿。一块 H100 的 PCB 版图设计需要 10–20 名 SI/PI 工程师 × 2 个月。
PCB 制造(2–3 周)
流程:内层线路 → 压合(层叠 + 高温高压)→ 钻孔(激光 + 机械钻)→ 镀铜(PTH 沉铜+电镀)→ 外层线路 → 阻焊(绿油/黑油)→ 表面处理(ENIG 沉金)→ 飞针测试 → V-Cut 成型。
关键难点:背钻(Back Drill)——高速信号经过 PTH 通孔时,孔内多余的一段金属柱会产生"stub"反射。背钻就是在镀完铜后,用稍大直径的钻头把不需要的孔段铣掉。一块 H100 PCB 上有 数千个需要背钻的过孔。
4.2 元器件采购与来料检验(BOM 管理)
SMT 贴片之前,所有元器件必须到齐。一张 H100 的 BOM(物料清单)包括:
| 类别 | 典型物料 | 数量 | 品牌/供应商 |
|---|---|---|---|
| GPU 模块 | GH100 die + 6×HBM3(CoWoS封装体) | 1 | NVIDIA→台积电 |
| 供电 VRM | DrMOS + 电感 + 电容 多相阵列 | ~60–80 颗 | MPS / Infineon / Onsemi |
| MLCC 电容 | 0402/0603/0805 贴片陶瓷电容 | ~800–1,200 颗 | 村田 / 三星电机 / TDK |
| 钽/铝聚合物电容 | 大容量滤波,GPU 背面的"电容墙" | ~40–60 颗 | Panasonic / KEMET |
| PCIe 开关/Retimer | 信号再生中继芯片 | 4–8 颗 | Astera Labs / Parade |
| NVLink 桥接器 | 多 GPU 互联高速桥 | 3–4 颗 | NVIDIA 自研 |
| 板载电源芯片 | PWM 控制器 + 多相 DrMOS | ~8–12 颗 | MPS / Renesas |
| SPI Flash | 存储 GPU 固件(VBIOS) | 1–2 颗 | Winbond / Macronix |
| 温度传感器 | I²C 数字温度计 | ~6–10 颗 | TI / Maxim |
| 连接器 | PCIe 金手指 + 12VHPWR + NVLink | 3–5 个 | Amphenol / Molex / 富士康 |
BOM 总成本(不含 GPU die + HBM)约 $800–1,200。其中供电 VRM 阵列最贵(~$150–250),MLCC 数量多但单价低(累计 ~$80–120),PCIe Retimer 芯片 ~$100–150。
采购周期是最大的不确定性。高端 DrMOS 和超低 ESR 电容的交货期可达 12–26 周——远长于 PCB 制造和 SMT 本身。BOM 缺一颗 $0.02 的电阻,整张卡就出不了货。
4.3 SMT 贴片组装(表面贴装)
SMT 产线流程
| 步骤 | 设备 | 做什么 |
|---|---|---|
| ① 锡膏印刷 | 全自动锡膏印刷机(DEK / ASM) | 通过钢网将锡膏精确印到 PCB 焊盘。钢网开窗精度 ±25μm |
| ② SPI 检测 | 3D 锡膏检测仪(Koh Young) | 激光扫描每个焊点的锡膏体积/高度/偏移——不良立即返工 |
| ③ 高速贴片 | 贴片机(ASM / Fuji / Panasonic) | 吸嘴从料带取件→视觉对中→放置。速度:40,000–80,000 CPH |
| ④ 回流焊 | 10 温区回流焊炉(BTU / Heller) | 峰值温度 245–260°C,精确控制升温斜率(1–3°C/s)防热冲击 |
| ⑤ AOI 检测 | 自动光学检测(Omron / Koh Young) | 拍照比对每个焊点的形态——桥接/虚焊/偏移/少锡 |
| ⑥ X-Ray 检测 | 3D X-Ray(Nordson / Viscom) | BGA 底部焊球不可见→X 光穿透检查焊接质量 |
GPU BGA 封装贴装是整条线的核心难点。GH100 封装体下有 数千个焊球(BGA pitch ~0.8mm),每个焊球的空洞率必须 < 15%(IPC-III 标准 < 25%,NVIDIA 内控更严)。
贴完 GPU 模块后,需要立即进行 X-Ray 全覆盖检测——这步不是抽检,是每张卡必检。一台 3D X-Ray 机 ~$500K–$1M,检测一张 H100 约 3–5 分钟,是整个产线的节拍瓶颈。
波峰焊(选择性焊接)
部分通孔元件(如大电流连接器、电解电容)无法过回流焊,需要用 选择性波峰焊或机器人烙铁逐点焊接。12VHPWR 电源接口引脚粗大、通流量 600W+,必须保证每个 pin 的焊接截面积——这是整张卡上最容易出现虚焊导致烧毁的点。
4.4 散热方案:从硅到空气的 700W 热桥
H100 SXM 版本 TDP 700W,PCIe 版本 350W。700W 是什么概念?一张信用卡大小的面积(~800mm²)上,热流密度高达 87.5 W/cm²——比核反应堆燃料棒表面还高。
| 散热方案 | 适用型号 | 散热能力 | 复杂度 |
|---|---|---|---|
| 风冷(主动) | H100 PCIe / L40S | 350–450W | 均热板+铜鳍片+双风扇 |
| 风冷(被动) | H100 SXM(机箱风扇) | 500–700W | 超大均热板+高密度鳍片,依赖机箱高速风扇 |
| 液冷(冷板) | H100/H200/B200 SXM | 700–1,200W | 铜冷板+CDU(冷却液分配单元)+二次侧散热 |
| 浸没式液冷 | 实验/定制方案 | 1,000W+ | 介电液浸泡+泵循环+外部换热器 |
均热板(Vapor Chamber)
风冷方案的核心。均热板是一个真空密封的铜腔体,内部填充微量纯水+铜粉烧结毛细结构:
- GPU 热源→蒸发端(水沸腾)→蒸汽流向冷端→冷凝→毛细力把水拉回热端→循环
- 等效导热系数 5,000–10,000 W/m·K(纯铜 ~400,钻石 ~2,000)
- 厚度仅 2–4mm,能把 700W 从 ~800mm² 的 die 面积扩散到 ~30,000mm² 的鳍片接触面
供应商:双鸿(Auras)/ 富士康 / Cooler Master。H100 的均热板良率仅 ~70%——密封泄漏或毛细结构塌陷即报废,一片成本 ~$15–25。
导热界面材料(TIM)
GPU die 和均热板之间必须填充导热材料——微观上,die 和铜表面都是"山峰山谷",直接接触的有效面积不到 5%。TIM 填充间隙:
- 相变材料(H100 方案):常温固态→工作时受热融化填充间隙,热阻最低
- 液态金属(PS5/部分笔记本):镓基合金,导热最好但导电,泄漏=短路
- 硅脂(消费级):成本最低,长期会泵出(pump-out)失效
数据中心的 AI 卡要求 TIM 在 85°C / 100% 负载 / 5 年 后热阻不退化——这比消费级要求严苛 10 倍以上。
4.5 供电系统:把 12V 变成 0.8V@700A
GPU die 核心电压仅 ~0.8V,但电流高达 700–900A。从 PCIe 12VHPWR 的 12V 输入降压到 0.8V,需要一套精密的 多相 DC-DC 转换系统。
| 参数 | H100 PCIe | H100 SXM |
|---|---|---|
| 相数(GPU 核心) | 16–20 相 | 24–28 相 |
| 每相电流 | ~25–40A | ~30–50A |
| PWM 控制器 | MPS / Renesas 数字多相 | MPS / Renesas 数字多相 |
| DrMOS 型号 | MPS MP86956 / Infineon TDA | MPS MP87190(更高电流) |
| 开关频率 | ~600–800 kHz | ~500–700 kHz |
| 效率 | ~88–92% | ~90–93% |
为什么这么多相?单相 DrMOS 能输出 ~50A,但 H100 核心需要 700A+。并联 20 相可以实现,同时多相交错能大幅减小输入/输出纹波(ripple)——纹波大 → GPU 内部 PLL 抖动 → 计算出错。
20 相 VRM 的布局是整张卡上密度最高的区域:每一相包括 1 颗 DrMOS + 1 颗电感 + 多颗 MLCC,20 相就是 ~100 颗元件挤在 GPU 周围的一圈环带内。这个环带的直流电阻必须 < 0.1 mΩ——因为 IR 损耗 = 700A² × R,每 0.1mΩ 就是 49W 的废热。
4.6 整卡组装、固件烧录与出货测试
整卡组装
- 散热器安装:均热板/冷板通过弹簧螺丝固定到 GPU die 上方,扭矩精确控制(~6–8 kgf·cm),压力不均→die 边角开裂
- 背板(Backplate):增强刚性+背面被动散热,部分高端卡背板内嵌热管
- 挡板(Bracket):SXM 用螺丝固定到机箱;PCIe 用标准全高挡板
- NVLink 桥接器:安装在卡顶部,4 颗 NVLink 连接器实现多 GPU 互联
固件烧录(Firmware Flashing)
出厂前,每张卡的 SPI Flash 需要烧录 GPU 固件(VBIOS / firmware)。这是与芯片设计阶段不同的工作——不是在写 CUDA,而是写 GPU 内部微控制器(Falcon / PMU)的实时操作系统:
- 电源管理固件(PMU FW):控制上电时序、电压调节、功耗限制(Power Cap)
- 温控固件:读温度传感器→调风扇曲线→触发降频保护
- 安全固件:Secure Boot → 验签 → 启动 GPU 主核。防篡改熔丝(eFuse)一旦烧断不可逆
- 显示固件:虽然数据中心卡无显示输出,BMC 远程管理仍需要基本显示引擎
烧录后全检:每张卡通电→读取固件校验和(checksum)→核对版本→确保与 GPU die 的硬件 stepping 匹配。
系统级出货测试(每卡必检)
| 测试项 | 方法 | 通过标准 |
|---|---|---|
| 上电自检 | 12V 输入,检测各路电压是否在规定范围 | 12V/5V/1.8V/0.8V ±3% |
| GPU 内核测试 | 运行 NVIDIA 内部诊断固件 | 所有 SM/Tensor Core 无坏块 |
| HBM 内存测试 | 全地址读写+March C 算法 | 0 bit error(HBM 无 ECC 纠错余量) |
| PCIe 链路测试 | PCIe 5.0 x16 Loopback + BER 测试 | BER < 10⁻¹² |
| NVLink 链路测试 | 多卡互联→全带宽压力测试 | 900 GB/s 双向 |
| 功耗测试 | 跑 TDP 负载→记录实际功耗 | 用于 Binning(700W 级 vs 500W 级) |
| 老化测试 | 85°C / 100% 负载 / 48h | 无降频/无 ECC 错误增长 |
| MLPerf 验证 | ResNet-50 / BERT-Large 推理 | 性能在标称值 ±2% 以内 |
老化测试(Burn-in)是最耗时的环节,也是产能瓶颈之一。每张卡占一台测试机的 48 小时,1,000 张卡需要 48,000 机时。大型代工厂(富士康/纬创)会配备 数百台老化测试柜。任何在 48h 内出现降频、ECC 错误、或温度异常的卡都会被重新 Binning 降级。
4.7 包装、物流、数据中心上架
- 防静电包装:真空铝箔袋 + 湿度指示卡(HIC)——AI 卡对 ESD 和潮湿极度敏感(MSL 4 级)
- 防震:BGA 焊球受震动后产生微裂纹(latent crack),现场上架后 3–6 个月才失效,是售后第一杀手
- 温控运输:高价值 → 航空货运(FedEx / DHL 专机),恒温 15–25°C
- 上架:插入 SXM 底座或 PCIe 插槽→锁紧螺丝→连接液冷快接头→通电→BMC 自动识别→加入集群
一张 H100 从台积电出厂到插入微软/亚马逊数据中心,全链条耗时约 8–16 周(不含芯片制造本身的 3–4 个月)。
五、软件:看不见的护城河
硬件生产完了,但没有软件它就是一块昂贵的砖。NVIDIA 软件工程师(~15,000 人)远超硬件(~5,000 人)。
| 软件层 | 规模 | 描述 |
|---|---|---|
| GPU 固件 | ~50 万行 C | 片上微控制器 RTOS,管理功耗/时钟/温度/安全启动 |
| CUDA 驱动 | ~100 万行 C | 用户态↔内核态接口,内存管理,指令提交 |
| CUDA 工具包 | ~数百万行 C++ | cuBLAS、cuDNN、TensorRT、NCCL(多 GPU 通信) |
| AI 框架后端 | 社区+官方维护 | PyTorch、JAX、TensorFlow 的 GPU 算子后端 |
这就是为什么 AMD 有同样好的硬件但 AI 市占率不到 10%。CUDA 生态积累了 15 年,不是一个 ROCm 兼容层能追上的。
六、B200(Blackwell)的新变化
| 变化 | 为什么重要 |
|---|---|
| 双 die 合一 | 两颗 GPU die 通过 NV-HBI(10 TB/s)桥接——"超级芯片" |
| CoWoS-L | 中介层从纯硅→有机基板+局部硅桥,面积扩大 2.5× |
B200 的 CoWoS 基板面积是 H100 的 2–3 倍——先进封装的重要性已经超过晶圆代工本身。
七、全链条价值分布
| 环节 | 成本占比 | 毛利率 | 玩家数量 |
|---|---|---|---|
| 设计(NVIDIA) | — | 70%+ | 1–5 家 |
| EDA/IP 授权 | ~3% | 80%+ | 3 家垄断 |
| 晶圆代工(台积电) | ~25% | 55%+ | 2 家 |
| HBM 内存(SK 海力士) | ~20% | 45%+ | 3 家 |
| 先进封装(CoWoS) | ~10% | 40%+ | 3 家 |
| 基板 / PCB | ~8% | 20–30% | 5–10 家 |
| 组装 / 测试 | ~5% | 10–15% | 多家 |
最赚钱的环节从来不是制造——是设计和 EDA。一张 H100 售价 $30,000+,台积电只能分到 ~$3,000,而 NVIDIA 的毛利超过 $20,000。