为何每瓦性能是人工智能基础设施效率的最终指标

作者：袖梨 2026-07-15

电力是人工智能基础设施不可避免的约束。人工智能工厂在固定功率预算内可以产生多少代币决定了其收入和盈利能力。正因为如此，每瓦性能——一个无法欺骗的指标，只能通过现实世界的结果来获得——是人工智能工厂的基础。

随着智能体人工智能推高代币需求，组织今天做出的基础设施决策将决定在电力有限的世界中谁可以扩展，谁不能扩展。

如今，几乎每个前沿人工智能模型都在专家混合 (MoE) 架构上运行。高效服务这些大型模型意味着 GPU 域大小（通过超快、纵向扩展互连连接的 GPU 数量）很重要，而且越大越好。

虽然 NVIDIA Hopper 一代设定了八个 GPU 域的标准，但当今前沿人工智能的规模已经超出了它的范围。使用 72 个 GPU 域为 MoE 提供服务需要全栈协同设计以及在实际生产负载下运行这些模型所获得的操作深度。

借助 NVIDIA Blackwell NVL72 平台，该基础已经建立并经过验证，可提供最高的每瓦性能以实现收入最大化，并提供最低的代币成本以实现利润率最大化。 NVIDIA Vera Rubin 平台正是以此为基础，进一步提高机架规模的能源效率。

最大限度地提高 Frontier AI 的每瓦性能

每一代新一代前沿模型都会带来架构变化，释放更大的智能，同时要求新的优化才能大规模高效运行。

在最新一代的领先开放型号中，与 NVIDIA Hopper 一代相比，NVIDIA GB300 NVL72 的每瓦性能提高了 25 倍，这表明当从 8 个 GPU 迁移到 72 个 GPU 域大小时，MoE 性能会有所提高。这些数字反映了布莱克威尔今天的处境，这是一个持续改进的起点。

任何一个数字都只能说明故事的一部分。不同的工作负载需要不同的操作点：一些针对延迟进行优化，另一些则针对吞吐量和成本进行优化，并且大多数需要在两者之间移动。

为了最好地表示这些操作点，NVIDIA 展示了每个模型的 Pareto 曲线而不是单个点，并提供 DynoSim 等工具来帮助团队在花费单个 GPU 小时进行验证之前找到 Pareto 边界上的最佳点。

与 DeepSeek V4 Pro 上的 NVIDIA Hopper 相比，NVIDIA GB300 NVL72 系统的每瓦性能高达 25 倍。资料来源：SemiAnalysis InferenceX

在 GLM5.1 上，NVIDIA GB300 NVL72 系统的每瓦性能比 NVIDIA Hopper 高出 20 倍。资料来源：SemiAnalysis InferenceX

NVIDIA GB300 NVL72 系统的每瓦性能比 NVIDIA Hopper for Kimi K2.6 提高了 10 倍，Kimi K2.6 是专为长期智能体任务而构建的模型。资料来源：SemiAnalysis InferenceX

NVIDIA Blackwell 提供的每瓦性能是极端协同设计的结果：机架级系统的每个组件（从芯片到软件）都经过共同设计，以最大限度地提高 AI 推理工作负载的令牌吞吐量。这种协同设计涉及堆栈的每一层。

例如，对于机架规模性能至关重要的 NVIDIA NVLink Switch 是专门为解锁大规模扩展 GPU 领域而设计的，而不是从通用网络改编而来。现在，Vera Rubin 平台已进入第六代，其功能专为 SHARP 等 AI 工作负载而设计，可直接在交换机中执行网络内计算，从而减轻 GPU 本身的工作负担。

NVIDIA 的推理软件堆栈（包括 NVIDIA Dynamo 和 TensorRT LLM，以及 SGLang 和 vLLM）旨在运行全方位的优化：NVFP4 量化、分类服务、大规模专家并行、KV 感知路由、KV 缓存卸载等。这些叠加在一起可以使每个 GPU 提供的性能成倍增加。此外，随着时间的推移，软件的性能不断提高：在 DeepSeek V4 上，每瓦性能在一个月内提高了多达 5 倍。

在人工智能工厂中，冷却造成的电力损失和机架级效率低下可能意味着只有约 60% 的电力从电网转化为有用的人工智能工作。 NVIDIA DSX MaxLPS 是 NVIDIA DSX 平台中的功率与效率软件，它通过在 GPU 和机架之间实时转移功率、支持温水液体冷却以及使用动力转向等技术来提高性能，从而缩小了这一差距。这使得运营商能够在相同的功率预算内运行多达 40% 的 GPU。