随着AI工作负载的不断发展和扩大，内存带宽和容量对系统性能越来越重要。各大存储原厂也在不断开发更高性能的高带宽内存(HBM)。

3月25日，美光科技宣布，其用于英伟达GB300 Grace Blackwell Ultra超级芯片的SOCAMM内存模组以及针对HGX B300 NVL16及GB300 NVL72平台打造的HBM3E 12H 36GB和HBM3E 8H 24GB产品已量产出货。

SOCAMM是一种模块化LPDDR5X存储解决方案，具有比传统RDIMM更高的带宽、更低的功耗和更小的尺寸，适用于数据中心和AI计算场景，具有以下特点：

1.高带宽：SOCAMM在相同容量下提供比传统RDIMM高出2.5倍的带宽，这使得它能够更快地访问更大的训练数据集和更复杂的模型，同时提高推理工作负载的吞吐量。

2.低功耗：SOCAMM的功耗仅为标准DDR5 RDIMM的三分之一，显著优化了AI架构中的能效性能曲线。

3.小尺寸：SOCAMM的尺寸仅为传统RDIMM的三分之一，具体为14x90毫米，这使其更适合紧凑、高效的服务器设计。

4.高容量：SOCAMM采用四颗16Gb芯片堆叠的设计，单模块容量可达128GB，并支持128-bit位宽和8533MT/s速率。

5.可扩展性和可维护性：SOCAMM采用可拆卸设计，便于用户更换和升级内存模块，从而延长设备使用寿命并提升灵活性。

6.适用于AI计算场景：SOCAMM通过其高带宽、低功耗和小尺寸的特点，特别适合用于数据中心和AI计算场景，如英伟达的GB300 Grace Blackwell Ultra超级芯片。

7.其他优势：SOCAMM还具备纠错功能（ECC），支持液冷服务器设计，并通过高I/O端口数量（694个）缓解数据瓶颈问题。

而美光科技的HBM3E 12H 36GB产品相较于其竞争对手HBM3E 8H 24GB产品，在相同外形规格下确实提供了更高的存储容量和更低的功耗。在相同外形规格下，美光HBM3E 12H 36GB比HBM3E 8H 24GB提供了更高的存储容量，高出50%，且功耗降低了20%。

美光HBM3E 12H 36 GB提供超过1.2 TB/s的内存带宽，引脚速度超过9.2 Gb/s。美光HBM3E的这些综合优势以最低功耗提供最大吞吐量，可确保耗电数据中心获得最佳结果。此外，美光HBM3E 12H 36 GB采用完全可编程的MBIST，可以全速运行系统代表流量，提供更好的测试覆盖率以加快验证速度，缩短上市时间并提高系统可靠性。

以上产品的推出，标志着美光科技在全球HBM3E和SOCAMM市场取得进一步突破，并进一步巩固了其与英伟达的合作关系。