Innodisk | 突破“内存墙”限制：CXL 技术如何重塑服务器内存扩展架构？

内存扩展悖论

     随着 AI 和实时处理工作负载的持续增长，系统越来越依赖更强大的CPU和加速器来处理海量数据。随着计算能力的提升，系统架构师正前所未有地更快地触及“内存墙（memory wall）”。

     为了满足不断增长的需求，系统需要更大容量、更低延迟的 DRAM。然而，通过传统 DIMM 插槽进行内存扩展受到 CPU 支持的内存通道数量的限制。一旦这些插槽被插满，扩展内存容量将变得困难得多。

     这一挑战在边缘系统中尤为明显，平台尺寸、功耗预算和 DRAM 成本对系统设计提出了额外的限制。当瓶颈转移到内存处理时，加上 DRAM 价格波动和供应不稳定，传统的扩展方法可能捉襟见肘。虽然这些挑战暴露了明显的局限性，但也指明了替代的演进方向——以及重新思考内存扩展的新方式。

传统基于 DIMM 内存扩展的考量因素

NUMA 效应

     在双 CPU 或多路系统中，每个处理器都有自己的本地内存——这种架构被称为 NUMA（非统一内存访问，Non-Uniform Memory Access）。每个CPU及其连接的内存构成一个 NUMA 节点。

     虽然 CPU 可以直接访问其本地内存，但访问另一个 CPU 连接的内存则需要通过处理器间互联通道，从而导致更高的延迟。

     如果内存没有在节点间均匀分布，操作系统可能会将应用数据放置在远程 NUMA 节点中，从而增加延迟并降低性能。

     除了插槽间（inter-socket）延迟外，内存性能还受到主板上“DIMM 物理排列方式”的影响。

DIMM 拓扑结构

     内存配置还受到 DIMM 拓扑结构的影响，这指的是内存通道和插槽在主板上的电路布线方式。

     根据布局的不同，某些主板在优先插满离 CPU 最近的 DIMM 插槽时性能最佳。安装第二个  DIMM 可能会导致内存频率下降。

     其他设计则针对平衡配置进行了优化，要求 DIMM 在内存通道间对称插满。仅安装一个 DIMM 可能无法发挥最佳性能。

     为了充分发挥系统性能，用户需要了解其主板的 DIMM 拓扑结构并据此配置内存。这些设计考量也推动了行业对内存扩展新方法的关注——这正是 CXL 等技术大显身手的舞台。

什么是 CXL，它为何而生？

     CXL（Compute Express Link，计算快速链接）是用于高速互联的开放行业标准，于2019年首次发布，并得到英特尔、AMD、ARM、三星、美光等主要科技公司组成的联盟支持。它定义了控制设备通信的协议层以及构建在 PCIe 电气接口之上的物理层。这意味着 CXL 设备可以插入标准 PCIe 插槽，同时实现一种截然不同的内存访问方式。

CXL 的三大子协议

CXL 定义了三个互补的子协议，协同工作以支持不同的通信模式：

CXL.io 负责基础设备通信。它负责设备的识别、初始化和管理——类似于系统检测和配置 PCIe 设备的方式。简而言之，正是它让系统能够识别 CXL 设备并使其投入使用。

CXL.mem 是实现内存扩展的关键。它允许 CPU 访问 CXL 设备上的内存，就像访问系统自身内存一样。从操作系统的角度来看，这部分内存直接表现为额外的 RAM。

CXL.cache 使 CXL 设备能够缓存主机 CPU 的内存。它确保 CPU 和设备始终使用最新的数据，避免在两者共享数据时出现不一致。

子协议对照表

设备类型对照表

     Innodisk 的 CXL 产品系列，包括 CXL 扩展卡（CXL AIC）和 CXL 内存模组（CMM），均属于 Type 3 设备，允许处理器将外部内存作为主机地址空间的原生扩展进行访问。

Innodisk CXL 解决方案如何破解内存瓶颈

     Innodisk 的 CXL 产品旨在突破传统内存架构的局限。CMM 每个模组可提供 64 GB、96 GB 或128 GB 的扩展容量，而 CXL AIC 扩展卡 则通过卡上的两个 DIMM 插槽最高可扩展至 256 GB。

     除了单纯绕过主板 DIMM 插槽数量的限制外，Innodisk CXL 解决方案还提供以下几项关键架构优势：

1. 内存池化：应对 NUMA 挑战

     CXL 使多个主机能够共享统一的内存池，使资源分配更加灵活，并有助于缓解 NUMA 架构中常见的延迟和不平衡问题。这一能力对于在不可预测环境中运行的多主机边缘服务器尤为宝贵。

     实际工作负载的数据处理需求通常会出现显著波动。根据知名的 5G 网络流量报告，每日流量峰值可达平均负载的 2 至 4 倍，通常发生在晚间……重大体育赛事转播等特殊事件甚至会将网络流量推向更高的峰值。

     金融交易基础设施也呈现出类似的模式……在重大市场事件期间，交易系统消息率会急剧飙升，有时甚至会出现 10 倍的峰值……

     这些工作负载峰值给系统架构师带来了根本性挑战。内存容量必须按峰值需求进行配置……这正是内存池化变得至关重要的地方。企业无需在每台服务器上过度配置内存，即可实现更高的资源利用率，同时仍保持应对工作负载突发激增的能力。

2. 借助 PCIe 接口与内存语义

     尽管 CXL AIC 扩展卡通过 PCIe 连接器接入，但内存语义允许 CPU 更直接地访问 CXL 内存，实现类似本地内存的访问方式。

     最重要的是，由于 CPU 将 CXL AIC 扩展卡视为单一的 CXL.mem 设备，它绕过了传统的 DIMM 级拓扑问题（如频率下降）。无论主板内部布局如何，都能带来可预测的性能和高信号完整性。

将 CXL 从数据中心延伸至边缘

     CXL 内存扩展可通过不同的外形规格（form factors）实现，每种规格均针对特定的系统架构进行了优化。

     Innodisk 的 CXL 内存模组（CMM）专为数据中心环境打造，采用紧凑的 EDSFF E3.S 外形规格，提供高密度内存扩展。它还荣获了行业奖项，包括 FMS（闪存峰会）“Best of Show”大奖和 2025 年台湾精品奖。

     在此基础上，Innodisk 通过 CXL AIC 扩展卡将相同的 CXL 能力延伸至边缘部署。CMM 和 AIC 均通过标准 PCIe 连接器接入，但 AIC 采用插卡式设计，在系统配置和预算控制方面提供了更大的灵活性。

AIC 的 TCO（总拥有成本）优势

     内存定价并非线性的。随着密度的增加，每 GB 成本往往呈指数级增长。高容量模组（如 256 GB DIMM）带有显著的“密度溢价”。

     通过采用 CXL AIC 扩展卡，企业可以实现显著的 TCO 优势。例如，在主板上插满两根 128 GB DIMM，再加上 CXL AIC 扩展卡上的两根 128 GB DIMM，其总成本通常低于仅为主板购买两根 256 GB 模组的成本。

灵活部署

     CXL AIC 扩展卡可根据实际系统需求实现灵活的内存扩展，而无需修改现有的 DIMM 配置。这使其特别适用于保守的工业环境。

根据您的需求，您可以优化系统配置：

- 追求最大扩展：128GB x2（主机）+ 128GB x2（AIC）。这将边缘设备的性能推向极限。

- 追求成本效益：64GB ×2（主机）+ 64GB ×2（AIC）。使用主流且具性价比的模组提供可观容量，同时允许在系统需求增长时未来升级到更高容量配置。

- 追求纯粹的信号完整性与低延迟：主机留空 + 128GB x2（AIC）。通过将内存工作负载转移至 AIC，您可以绕过复杂的主板拓扑，获得可预测的高速性能。

     除了容量灵活性外，CXL AIC 扩展卡在物理部署方面也极具弹性。它可以与 Innodisk 的工业级 DDR5 RDIMM VLP 模组搭配使用，进一步缩减系统占地面积。此外，在保持半长板卡设计的同时，AIC 支持全高和半高挡板，能够无缝部署在边缘服务器和工业平台等空间受限的环境中。

重新思考内存扩展

     随着内存墙持续挑战现代系统，扩展内存不再仅仅是增加更多 DIMM，而是关乎选择正确的架构。CXL 为更灵活、可扩展的内存方式打开了大门，而 Innodisk 的 CXL 解决方案将这一能力带入实际部署，助您构建为下一代工作负载做好准备的系统。