最新基准测试显示，搭载 NVIDIA B200 的 Supermicro 系统性能优于上一代系统，每秒令牌（Token）生成量是上一代系统的 3 倍
加利福尼亚州圣何塞2025年4月3日 /美通社/ -- Super Micro Computer, Inc. (SMCI)，是一家为 AI/ML、HPC、云端、存储和 5G/Edge 提供全面 IT 解决方案的供应商，该公司宣布使用 NVIDIA HGX™ B200 8-GPU 在多个 MLPerf Inference v5.0 基准测试中率先实现了业界领先的性能。在特定基准测试中，4U 液冷和 10U 风冷系统实现了最佳性能。与 H200 8-GPU 系统相比，Supermicro 在 Llama2-70B 和 Llama3.1-405B 基准测试中展示了每秒生成令牌数 (Token/s) 超过 3 倍的效果。
Nvidia HGX B200 系统
"Supermicro 依然是人工智能行业的领先者，MLCommons 于 2025 年发布的首批新基准测试就证明了这一点。"Supermicro 总裁兼首席执行官梁见后（Charles Liang）表示说，"我们的构建块架构使我们能够率先向市场推出针对各种工作负载进行优化的多种系统。我们将继续与 NVIDIA 密切合作，以微调我们的系统，并确保在 AI 工作负载方面的领先地位。"
要了解有关新 mlPerf v5.0 推理基准测试的更多信息，请访问：https://mlcommons.org/benchmarks/inference-datacenter/
Supermicro 是唯一一家发布风冷和液冷 NVIDIA HGX™ B200 8-GPU 系统 MLPerf 推理性能记录（在特定基准上）的系统供应商。在 MLCommons 基准测试开始日期之前，风冷和液冷系统均已投入运行。Supermicro 工程师对系统和软件进行了优化，以展示其令人印象深刻的性能。在营业利润率范围内，Supermicro 风冷 B200 系统表现出与液冷 B200 系统相同的性能水平。在我们进行基准测试的同时，Supermicro 一直在向客户交付这些系统。
MLCommons 强调所有结果均可重现，产品可用，并且结果可以由其他 MLCommons 成员审计。Supermicro 工程师根据 MLCommons 规则对系统和软件进行了优化。
SYS-421GE-NBRT-LCC（8x NVIDIA B200-SXM-180GB）和 SYS-A21GE-NBRT（8x NVIDIA B200-SXM-180GB）在运行 Mixtral 8x7B 推理、混合专家基准测试时表现出性能领先优势，速度为 129,000 个 token/秒。基于 Supermicro 风冷和液冷 NVIDIA B200 的系统为大型 Llama3.1-405b 型号提供了超过 1,000 个 token /秒的推理，而前几代 GPU 系统的结果要小得多。对于较小的推理任务，使用 LLAMA2-70b 基准，安装了 NVIDIA B200 SXM-180GB 的 Supermicro 系统展现出一级系统供应商的最高性能。
具体的内容包括：
- Stable Diffusion XL（服务器）
SYS-A21GE-NBRT（8x B200-SXM-180GB）
#1 queries/s，28.92
- llama2-70b-interactive-99（服务器）
SYS-A21GE-NBRT（8x B200-SXM-180GB）
#1 tokens/s，62,265.70
- llama3.1-405B（脱机）
SYS-421GE-NBRT-LCC (8xb200-sxm-180GB)
#1 tokens/s 1521.74
- llama3.1-405b（服务器）
SYS-A21GE-NBRT（8x B200-SXNM-180GB）
#1 tokens/s，1080.31（适用于 8 个 GPU 节点）
- mixtral-8x7b（服务器）
SYS-421GE-NBRT-LCC（8x B200-SXM-180GB）
#1 tokens/s，129,047.00
- mixtral-8x7b（离线）
SYS-421GE-NBRT-LCC（8x B200-SXM-180GB）
#1 tokens/s，128,795.00
"MLCommons 祝贺 Supermicro 提交了 MLPerf Inference v5.0 基准测试。我们很高兴看到他们的结果与前几代系统相比显示出显著的性能提升，"MLCommons MLPerf 负责人 David Kanter 表示说，"客户会对所实现的性能改进感到满意，这些改进已得到中立、代表性和可重复的 MLPerf 结果得到验证。"
Supermicro 提供全面的 AI 产品组合，其中包括 100 多个针对 GPU 优化的系统，包括风冷和液冷选项，以及多种 CPU 选择，从单插槽优化系统到 8 路多处理器系统。Supermicro 机柜级系统包括计算、存储和网络组件，从而减少了交付到客户现场后安装所需的时间。
Supermicro 的 NVIDIA HGX B200 8-GPU 系统，采用下一代液体冷却和空气冷却技术。在相同的 4U 外形尺寸下，新开发的冷板和新型 250 千瓦冷却剂分配单元（CDU）的冷却能力，比上一代产品提高了一倍多。采用全新立式冷却剂分配歧管 (CDM) 的机柜级设计有 42U、48U 或 52U 配置可供选择，不再占用宝贵的机架单元。这样便可实现 8 个系统（42U 机架中配备 64 个 NVIDIA Blackwell GPU）和 12 个系统（52U 机架中配备 96 个 NVIDIA Blackwell GPU）。
新型风冷 10U NVIDIA HGX B200 系统采用重新设计的机箱，具有更大的散热空间，可容纳 8 个 1000W TDP Blackwell GPU。最多 4 个全新 10U 风冷系统可以安装并完全集成到机架中，其密度与上一代相同，同时提供高达 15 倍的推理和 3 倍的训练性能。