• 该 KV（键值）cache 解决方案集成了 Supermicro Petascale 存储服务器、IBM Storage Scale 软件、NVIDIA Dynamo 推理软件及 NVIDIA Spectrum－X 以太网交换机
• 性能测试显示，与未使用 KV cache 的系统相比，该解决方案可缩短长上下文窗口下的首个词元生成时间（TTFT）
• 客户可通过提高 GPU 利用率、吞吐量及基础设施可扩展性，大幅提升推理效率

加利福尼亚州圣何塞2026年11月5日 美通社 －－ Supermicro, Inc.（纳斯达克：SMCI），一家提供 Data Center Building Block Solutions®（DCBBS）的 AI、企业级计算、存储及 5G边缘领域的整体 IT 解决方案提供商，今日宣布与 IBM 和 NVIDIA 合作推出全新的 KV cache 存储解决方案。该联合解决方案集成了采用 AMD EPYC 9005 系列处理器（“Turin”）的 Supermicro Petascale 全闪存存储服务器、IBM Storage Scale 软件，以及 NVIDIA Dynamo 推理框架软件和 Spectrum－X 以太网网络。

这些技术相结合，可大幅缩短 AI 模型开始生成响应所需的时间。随着企业采用智能体和长上下文 AI 工作流，这一优势变得尤为重要。利用本地 GPU 内存以外的存储空间扩展 KV cache 容量，可提高 GPU 利用率和推理吞吐量，同时支持 KV cache 内容的高可用性，以及 KV cache 容量的无中断扩展。由此构建的推理架构更具可扩展性和韧性，能够带来更快捷、响应更灵敏的 AI 体验。

Supermicro 总裁兼首席执行官 Charles Liang 表示：“随着 AI 工作负载从训练扩展到推理，企业和新型云服务商在部署智能体 AI，以及长上下文、多轮交互生成式 AI 所需的高吞吐量推理工作负载时，需要消除瓶颈，以提高 GPU 效率。我们与 IBM 和 NVIDIA 联合推出的解决方案，清晰展现了这些性能优势。”

如需观看本新闻稿的视频摘要，请点击此处。

推理工作负载包含两个阶段：预填充和解码。在预填充阶段，输入文本被转换为词元（token），再由大语言模型（LLM）处理，生成推理所需的中间键值（KV）状态。通过将这些已计算的 KV 状态存入持久化 KV cache，系统可以复用这些状态，而无需为后续请求重新计算相同的上下文。智能体工作流、编程助手、长上下文检索增强生成（RAG）、多模态 AI 及多轮交互应用，在处理大型代码库、文档、对话、图像和其他上下文时，可能产生大量 KV 状态，迅速超出 GPU 和 CPU 的内存容量，因此需要将 KV cache 卸载至大容量共享网络存储。

Supermicro、IBM 和 NVIDIA 的 KV cache 解决方案提供了这一持久化存储层，有助于提升推理效率、吞吐量及可扩展性，同时减少重复计算。

该 KV cache 解决方案为客户带来的主要优势包括：

• 联合方案验证：Supermicro、IBM 和 NVIDIA 开展了广泛的集群级测试，以衡量性能，测试涵盖高并发，以及其他工作负载引发网络流量干扰的场景。
• 显著提升推理速度与性能一致性：Supermicro 与 NVIDIA 使用一个拥有 1,200 亿参数的大语言模型进行联合测试。结果显示，在提示输入长度为 13 万个词元时，持久化 KV cache 可使首个词元生成时间（TTFT）比未使用 cache 时快达 56 倍。^【1】 当输入长度从 3 万个词元增加至 13 万个词元时，使用 KV cache 的系统，其 TTFT 仅增加 0.377 秒，而未使用 KV cache 的系统则增加 29.55 秒，从而为长上下文工作负载提供更一致的性能。
• 提高 GPU 利用率和吞吐量：通过将频繁复用的上下文保存在 GPU 内存之外并保持可用，该解决方案有助于减少 GPU 空闲时间、提高推理吞吐量，并在无需同比例增加 GPU 资源的情况下支持更高并发。
• 企业级韧性与可信 AI 运营：持久化、高可用的 KV cache 有助于保护已缓存的推理状态，同时支持 GPU 节点和集群之间的共享访问，为大规模 AI 服务提供更强的韧性和更高的存储效率。
• 经过验证、可直接部署的 AI 基础设施：Supermicro、IBM 和 NVIDIA 在高并发及工作负载相互干扰的场景下，联合验证了这一集成架构。该架构结合了 NVIDIA Dynamo、IBM Storage Scale 软件、Supermicro Petascale 服务器及 NVIDIA Spectrum－X 网络。
• 加速部署服务：Supermicro 的工厂机架集成及现场部署服务，可将该解决方案的部署时间从数周缩短至数天。

“企业需要从根本上改进 AI 推理的扩展方式。IBM、Supermicro 和 NVIDIA 正携手提供高性能、富有韧性的 KV cache 解决方案，帮助客户充分发挥 GPU 投资价值，让存储容量独立于计算资源进行扩展，并显著提高基础设施效率。”IBM 存储业务总经理 Sam Werner 表示。“这项合作是推动企业 AI 推理向更易扩展、更可靠、更具成本效益方向发展的重要一步。”

NVIDIA AI 推理产品负责人 Shruti Koparkar 表示：“智能体 AI 和长上下文应用需要在多个步骤之间高效复用上下文。NVIDIA Dynamo 有助于编排分布式推理，让企业从每块 GPU 获得更多可用吞吐量。通过将 NVIDIA Dynamo 和 Spectrum－X 以太网，与 Supermicro Petascale 存储服务器及 IBM Storage Scale 相结合，这套 KV cache 解决方案构建了一个高性能共享存储层，能够减少重复计算、缩短首个词元生成时间，并帮助客户扩展具备韧性的 AI 推理服务。”

如需了解更多 Supermicro 和 IBM 解决方案的信息，请点击此处；如需阅读 IBM Redbook《Context without Limits： A High－Performance KV Cache Platform for Large－Scale AI Inference》，请点击此处。

关于 Super Micro Computer, Inc.
Supermicro（纳斯达克股票代码：SMCI）是应用优化整体 IT 解决方案的全球领军企业。Supermicro 在加利福尼亚州圣何塞成立并运营，致力于为企业、云、AI 和 5G TelcoEdge IT 基础设施提供率先进入市场的创新技术。我们是一家提供服务器、人工智能、存储、物联网、交换机系统、软件和支持服务的整体IT解决方案提供商。Supermicro 的主板、电源和机箱设计专业知识进一步推动了我们的开发和生产，为我们的全球客户实现了从云到边缘的下一代创新。我们的产品均在公司内部（包括美国、亚洲和荷兰）完成设计和制造，通过全球运营实现规模和效益，从而优化总体拥有成本 （TCO），并能够（通过绿色计算）减少对环境的影响。屡获殊荣的 Server Building Block Solutions® 产品组合通过我们灵活可重复使用的构建块，为客户提供了丰富的可选系统产品系列，用于优化其确切的工作负载和应用。这些构建块支持全系列外形规格、处理器、内存、GPU、存储、网络、电源和冷却解决方案（空调、自然空气冷却或液体冷却）。

Supermicro、Server Building Block Solutions 和 We Keep IT Green 是Super Micro Computer, Inc. 的商标和 或注册商标。

所有其他品牌、名称和商标均为其各自所有者所有。

¹测试结果详见 IBM Redbook：https：www.redbooks.ibm.comdocsMD260021MD260021.html