NVIDIA 的新 Ampere GPU 是人工智能的游戏规则改变者

今天,NVIDIA 宣布了他们新的 Ampere 架构,以及运行它的新 A100。这是对 Turing 的重大改进,Turing 已经是一个以 AI 为中心的架构,为高端数据中心提供动力,并在消费图形领域提供 ML 支持的光线追踪。
如果您想全面了解所有非常技术的细节,可以阅读 NVIDIA 的深入架构概述。我们将分解最重要的内容。
新模具绝对是巨大的
从一开始,他们就用这个新芯片全力以赴。上一代 Tesla V100 芯片在台积电已经成熟的 14 纳米工艺节点上为 815 毫米,具有 211 亿个晶体管。已经相当大了,但 A100 在 TSMC 的 7nm 上以 826mm 使其相形见绌,这是一种更密集的工艺,以及高达 542 亿个晶体管。这个新节点令人印象深刻。
这款新 GPU 具有 19.5 teraflops 的 FP32 性能、6,912 个 CUDA 内核、40GB 内存和 1.6TB/s 内存带宽。在相当特定的工作负载(稀疏 INT8)中,A100 实际上破解了 1 PetaFLOPS 的原始计算能力。当然,那是在 INT8 上,但这张卡仍然非常强大。
然后,就像 V100 一样,他们采用了其中的 8 个 GPU,并创建了一台售价 200,000 美元的迷你超级计算机。您可能很快就会看到它们出现在 AWS 和 Google Cloud Platform 等云提供商中。
然而,与 V100 不同的是,这不是一个巨大的 GPU——它实际上是 8 个独立的 GPU,可以虚拟化并单独租用以执行不同的任务,以及 7 倍的更高内存吞吐量来启动。
至于使用所有这些晶体管,新芯片的运行速度比 V100 快得多。对于 AI 训练和推理,A100 为 FP32 提供了 6 倍的加速,为 FP16 提供了 3 倍的加速,并且在同时使用所有这些 GPU 时提供 7 倍的推理加速。

请注意,第二张图中标记的 V100 是 8 GPU V100 服务器,而不是单个 V100。
NVIDIA 还承诺在许多 HPC 工作负载中最高可提速 2 倍:

至于原始 TFLOPs 数字,A100 FP64 双精度性能为 20 TFLOPs,而 V100 FP64 为 8。总而言之,这些加速是对图灵的真正代际改进,对人工智能和机器学习领域来说是个好消息。
TensorFloat-32:一种针对 Tensor Core 优化的新数字格式
借助 Ampere,NVIDIA 正在使用一种新的数字格式来替代某些工作负载中的 FP32。本质上,FP32 使用 8 位数字范围(它可以有多大或多小)和 23 位精度。
NVIDIA 声称这 23 个精度位对于许多 AI 工作负载来说并不是完全必需的,你可以从其中的 10 个中获得类似的结果和更好的性能。这种新格式称为 Tensor Float 32,A100 中的 Tensor Core 已针对处理它进行了优化。这就是,除了芯片缩小和核心数量增加之外,他们如何在 AI 训练中获得 6 倍的大幅加速。

他们声称 “用户无需更改任何代码,因为 TF32 仅在 A100 GPU 内运行。 TF32 对 FP32 输入进行操作并在 FP32 中产生结果。非张量运算继续使用 FP32”。这意味着它应该可以替代不需要更高精度的工作负载。
比较 V100 上的 FP 性能与 A100 上的 TF 性能,您将看到这些巨大的加速来自何处。 TF32 最多快十倍。当然,这在很大程度上也是由于 Ampere 的其他改进总体上快了一倍,并不是直接比较。

他们还引入了一个称为细粒度结构化稀疏性的新概念,它有助于提高深度神经网络的计算性能。基本上,某些权重不如其他权重重要,可以压缩矩阵数学以提高吞吐量。虽然丢弃数据似乎不是一个好主意,但他们声称这不会影响经过训练的推理网络的准确性,只会加快推理速度。
对于稀疏 INT8 计算,单个 A100 的峰值性能为 1250 TFLOPS,这是一个惊人的高数字。当然,您很难找到仅启动 INT8 的真实工作负载,但加速就是加速。