英伟达刚刚发布了一款专为 AI 推理工作而设计的显卡，它就是可以加速语音、视频、搜索引擎、图像神经网络的 Tesla T4 。在这之前，英伟达曾推出过类似的 Tesla P4 。但新品可在相同的功耗下，提供高达 12 倍的性能，设立了推理负载效能的新标准。Tesla T4 拥有 320 个图灵张量(TURring Tensor)内核 + 2560 个 CUDA 内核。

　　它在 TU104 芯片的基础上，启用了 40 组着色器(SM)，功率优化到了 75W(从而无需 PCIe 外接供电)。显存为 16GB GDDR6，带宽 320GB/s 。

　　GPU 支持混合精度，例如 FP32、FP16、已 INT8 。此外 Tesla T4 还支持 INT4 和实验性的 INT1 精度模式，较其前身有显著的进步。

　　与前代产品一样，Tesla T4 的功耗相当低调，服务器 PCIe 插槽的标准供电(75W)已经足够，无需外接 6-pin 。散热方面，它也无需加装主动式的风扇(服务器典型的内风道设计已经足够)。

　　英伟达透露，与桌面型号一样，Tesla T4 也配备了 RT 核心，很适合光线追踪或 VDI(虚拟桌面基础架构)。但这也意味着，该卡并不会用于大多数的推理工作负载。

　　Tesla 还拥有针对 AI 视频应用的优化特性，由硬件转码引擎提供动力，提供两倍于 Tesla P4 的性能。Nvidia 表示，这些计算卡可以同时解码多达 38 路全高清视频流。

　　此外，英伟达提供了围绕 T4 的一系列技术，比如 TensorRT Hyperscale 平台扩展。该卡支持所有主要的深度学习框架，比如 PyTorch、TensorFlow、MXNet、以及 Caffee2 。

　　另外，Nvidia 提供了 TensorFlow RT5，这是该公司深度学习推理优化器和运行时(Runtime)引擎的新版本，支持图灵张量核心与多精度工作负载。

　　Nvidia 还宣布了针对图灵做出优化的 CUDA 10，其中包含了优化的库、编程模型、以及图形 API 的互操作性;以及基于 Xavier 的产品系列新名称(AGX 阵容)，其专为从机器人、到自动驾驶汽车的自动机器系统而设计。

　　产品阵容包括 Drive Xavier 和新推出的 Drive Pegasus，首批为两款 Xavier 处理器、以及两款 Tesla V100 GPU 。Nvidia 现已将 GPU 更新为基于图灵架构的型号，另外还提供了类似的、面向医疗应用的 Clara 设计平台(采用了单一的 Xavier 处理器 + 图灵 GPU 的组合)。

　　Nvidia 专注于提升推理工作负载的性能，这也是该公司的一项战略举措。该公司预计，市场会在未来五年增长至 200 亿美元。同时，英特尔声称世界上大多数的推理工作负载，仍运行在基于至强处理器的平台上。

　　鉴于英特尔在全球服务器市场拥有决定垄断的地位(约 96%)，这种说法是相当可信的。

　　在最近以数据为中心的创新峰会上，该公司宣布在 2017 年为 AI 工作负载销售了 10 亿美元的处理器。预计未来几年，该数字还会迅速增长。

　　显然，推理工作负载将成为英伟达、英特尔、AMD 多家争夺的热门市场。英特尔凭借的，是其在服务器市场的先发优势。而低成本、低功耗的推理加速器(比如 Tesla T4)，将对其发起每瓦特性能的巨大挑战。

　　据悉，AMD 即将推出用于深度学习的 7nm Radeon Instinct GPU，谷歌也在积极开发自研的定制芯片(比如 TPU)。未来几年，我们或许能见证该领域的最终获胜者。