最强AI芯片H200？黄仁勋又在挤牙膏了

本文由 新硅NewGeek 撰写/授权提供，转载请注明原出处。

文章来源于：新硅NewGeek

作者：张泽一

编辑：戴老板

11 月 13 日晚，英伟达在国际超算大会上推出新一代 GPU，NVIDIA HGX H200。

对这块 GPU，黄仁勋给的学术名称是“新一代 AI 计算平台”，专为大模型与生成式 AI 而设计，翻译一下：

只看算力 H200 和 H100 基本相同，但为了加速 AI 推理速度，我们优化了显存和带宽。

先看具体的参数升级，官方新闻稿是说相比 H100 而言性能提升了 60%-90%，具体来看则是四个方面：

1、跑 70B Llama2，推理速度比 H100 快 90%；

2、跑 175B GPT-3，推理速度比 H100快 60%；

3、显存容量达到 141GB，是 H100 的近 1.8 倍；

4、带宽达到 4.8TB，是 H100 的 1.4 倍。

换句话说，虽然算力没有提升，但更高速的推理就意味着大量时间和金钱成本的节约，虽然还没有公布定价，新卡的“单美元效率”有了显著的提升。

虽然当下 H200 的具体架构还没有曝光，根据已有信息我们推测，最重要的三个部分中，逻辑芯片应该还是台积电的 4N 工艺，CoWoS 封装也没有变化，但 HBM 存储芯片却由原先的 HBM3 升级到了  HBM3e。

H100拆机图

原先的 6 颗 HBM3 芯片由 SK 海力士独供，内存带宽为 3.35TB/s，内存为 80GB，而全球首款搭载 HBM3e 内存的 H200，内存带宽达到 4.8TB/s，内存达到 141GB。

141GB 内存这个数字还挺奇怪，但这也是惯例。之前的 HBM3 芯片单颗内存为 16GB，堆叠 6 颗理论上应该是 96GB，但实际只有 80GB，就是英伟达为了保证良率，保留了一部分冗余空间。

而这次的 HBM3e 单颗容量为 24GB，6 颗算下来是 144GB，等于说这次英伟达只保留了 3GB 冗余，更大程度的压榨了内存的空间，以实现性能上的突破。

这或许带来产能爬坡速度较慢的问题。

至于供应商方面，英伟达暂时没有公布，SK 海力士和美光今年都公布了这一技术，但美光在今年在 9 月份表示，它正在努力成为英伟达的供应商，不知道 H200 有没有选上它。

这块最强 GPU 要到 2024 年二季度才正式发售，现在大家依然得抢 H100。

今年 8 月英伟达发布的 GH200 超级芯片，实际上是由 Grace CPU 与 H100 GPU 组合而成的。

这套组合在 NVLink 的加持下与 H200 完全兼容，也就是说原先用 H100 的数据中心既可以直接升级 H200，也可以再堆几块 H200 进去增加算力。

另一方面，根据此前英伟达公布的更新路径图，在 2024 年的四季度就将发布下一代 Blackwell 架构的 B100，性能将再次突破。

再结合我们上文提到的，相比于 H100，H200 只是在推理能力上有所提升，更接近老黄一贯以来的挤牙膏产品，真正的大招还得看明年的 B100。

问题是，英伟达为什么要出一款这样的产品？

显卡玩家都知道，老黄的刀法是出了名的精湛。

所谓刀工，就是你去买肉的时候说要一斤肉，老板一刀下去刚好一斤。放到显卡这里，则是厂商通过分割性能设计出不同价位的产品，以满足各类不同需求的消费者。

比如下图所示的五款同一年发售的显卡，采用相同制程和架构，但通过屏蔽不同量的流处理器以诞生性能有所差异的五款显卡。

很明显，消费者多花一分钱，就能多得到一点性能，号称“每 500 元一档，每 5% 性能一级”。

毕竟打游戏这事，有人只玩热血传奇，也有人就喜欢 4K 光追 120FPS 玩赛博朋克 2077，不同人群的需求千差万别，不同价位都有市场。

图片来源：极客湾

至于这么操作有什么好处——抢占市场，节约成本。

抢占市场比较好理解，在所有价格带和各种性能档次上铺满自家产品以挤压对手生存空间，这套做法各行各业都有，看看白酒和车企就知道了。

成本这边，一片晶圆能够切割出若干块“die”（也就是芯片封装前的晶粒），而这切割出来的 die 质量参差不齐，也就有了良品率的概念。

因此简单来说，以 16xx 系显卡为例，英伟达就会把质量最高的芯片做成性能最强的 1660Ti，差一点的做成 1660Super 和 1660，再差一点的继续降级。

这样就能够保证在芯片制造过程中的损耗尽可能的降低。

同时这种刀法还能用来清库存，比如 22 年矿机市场崩盘，英伟达 30xx 系芯片堆在仓库里卖不动，老黄就把用在高端显卡上的芯片放进低端显卡系列里，降价出售。

比如说原先放在 3090 上的 ga102 核心，22 年 3 月首发价 11999 元，到了 11 月就搭载到新版的 3070Ti V2 上，价格直接打到了 3500 左右。

回到 H200 这里，H100 已经是最强的 AI 芯片了，但英伟达就是要在 B100 和 H100 之间再切出一个 H200，同样也是上述的两个原因。

这里需要科普一下内存带宽的意义，一套服务器的真实计算速度（FLOPs/s），是在“计算密度x带宽”与“峰值计算速度”这两个指标间取最小值。

而计算密度和带宽的上限都是受到内存技术影响的。（这里划个线，后面讨论中国特供H20还会提到。）

通俗来说，就是如果芯片内部计算已经结束，但新的数据没传过来，下一次计算也就不能开始，这部分算力实际上是被浪费的。

这也是为什么我们看到一些服务器的算力（FLOPs）相对较低，但计算速度却更高的原因。

因此对于一款高性能芯片来说，算力和带宽应当同步提升才能使计算速度最大化。

对于 H 系列 GPU 来说，在不改架构和所用制程的情况下，可能算力上的突破已经比较困难，但在 HBM3e 的加持下，内存和内存带宽得以继续提升。

另一方面，相较于此前训练大模型所强调的庞大算力，在当下 AI 应用大量落地的时代厂商开始重视推理速度。

推理速度和计算速度可以划上约等号，即是将用户输入的数据，通过训练好的大模型，再输出给用户有价值的信息的过程，也就是你等 ChatGPT 回复你的那段时间。

推理速度越快，回复速度越快，用户体验自然越好，但对于 AI 应用而言，不同难度等级的推理所需要的运算量天差地别。

打个比方，假设现在有一款和GPT-4同样强大的模型，但问他附近有什么好吃的足足花一分钟才能给出答案，但GPT-4只要一秒，这就是推理速度带来的差异。

这种推理速度上的差异延伸到应用生态上，则会影响应用的广度与深度，比如即时性要求更强的AI就必须拥有更高的带宽，最典型的案例就是自动驾驶技术。

在这一逻辑下，头部大厂自然会愿意为更高的内存买单。

而成本这一块，英伟达就更鸡贼了，咱们来看看中国特供版 GPU：H20。

日前有消息称，英伟达现已开发出针对中国区的最新改良版系列芯片：HGX H20、L20 PCle 和 L2 PCle，知情人士称，最新三款芯片是由 H100 改良而来，预计会在16号正式公布。

这有三款芯片，但 L20 和 L2 是基于 intel 的第三代平台，这里暂且不表，重点是采用 H100/H800 架构的 H20。

H20 的诞生背景这里就不再赘述，单看这名字，足足落后 H200 十倍，拜登看了直点头。

先看参数，H20 在内存上用的还是 H100 相同的 HBM3，6 个 16G 堆叠完完整整 96GB，完全没有任何留存部分，意味着该技术良率早已不是问题，明显的成熟制程。

但为了规避禁令限制，计算密度（下图中的 TPP/Die size）被大幅阉割，根据上文所述，计算速度也就是推理速度差了不止一星半点。

然后再看这张表，计算能力的核心参数 FP32 为 44TFLOPS，相较于 H100/200 并没有下降多少。

但在张量核心（Tensor Core）的部分则是大砍特砍，BF16、TF32 都被砍到只剩一个零头。

简单来说就是生成比 GPT-3 更高级的大模型所必备的，专为深度学习而设计的计算核心，张量核心被砍，基本意味着这块 GPU 当下训练不出比 GPT-3 更高级的模型。

张量核心被砍，同样意味着生产这卡可以用成熟制程，品相差一点的晶粒，也就意味着更低的成本。

想想这是不是和显卡玩法差不多？

看到这里感觉就是个全面阉割版，用国产替代不行吗？

老黄刀法厉害就厉害在这：4.0TB 的内存带宽比 H100 还高，卡间、服务器间带宽 NVlink 速度 900GB/s 和 H100 持平。

也就是说，即便禁令影响不能出售高端 GPU 到中国，但中国客户可以通过多买几张堆一起用来弥补单卡算力不足的问题，粗略算算 2.5 张 H20 可以等效于一张 A100。

NVlink 再加上 CUDA 生态，再算上成熟制程带来的低成本优势，即便国内厂商不得不给英伟达缴更多的贡，H20 依旧是国内厂商最好的选择。

还是那句话，老黄这么多年积淀下的刀功确实能给蚊子腿做手术，这一刀下来，既规避了禁令限制，又让国内厂商继续买他们家的产品。

英伟达又赢麻了。

扫码关注公众号

获取更多技术资讯