美光开创先河的HBM3E内存和存储产品：引领AI市场革新

近期，美光发布的内存和存储产品组合备受瞩目，这些新成就为AI技术的飞速发展增添了活力。美光推出的8层堆叠和12层堆叠HBM3E解决方案在业界引领潮流，其功耗比竞品低30%。特别引人注目的8层堆叠24GB HBM3E产品将应用于NVIDIA H200 Tensor Core GPU中。在最近的Six Five Media节目中，主持人Daniel Newman（Futurum Group首席执行官）和Patrick Moorhead（Moor Insights & Strategy首席执行官）与美光产品管理高级总监Girish Cherussery进行了视频访谈。他们深入探讨了高带宽内存（HBM）在广泛市场上的应用以及其在当今科技领域的多重应用。以下是他们的讨论回顾，内容涉及了HBM的复杂性、美光如何迎合市场需求以及当前内存生态系统的发展动向，同时，Girish还分享了对AI内存和存储技术市场趋势的宝贵见解。

高带宽内存（HBM）作为业界标准的封装内存产品，具有革命性意义。其小巧尺寸下实现更高的容量和能效。正如Girish在Six Five播客节目中所指出的，随着AI应用中越来越多复杂的大型语言模型（LLM）部署，GPU内存容量和带宽不断受到挑战。大型语言模型的规模呈指数级增长，超过内存容量增长速度，这凸显了对内存容量不断增加的需求。

以GPT-3为例，该模型大约有1750亿个参数，这意味着需要约800GB内存及更高的带宽，以避免性能瓶颈。而最新的GPT-4模型参数更多（预计达到万亿级）。传统方法增加内存器件会导致系统成本剧增。而HBM则提供了一种高效解决方案。美光基于其领先的1β技术，推出了11mm x 11mm封装规格的8或12层24Gb裸片HBM3E内存，容量达24GB或36GB。美光先进的设计和工艺创新，助力HBM3E实现超过1.2TB/s的内存带宽和超过9.2Gb/s的引脚速率。正如Girish所言，HBM3E具备16个独立的高频数据通道，如"高速公路车道"，可快速传输数据，提供所需性能。

美光的HBM3E具有更高的容量和带宽，缩短了大型语言模型的训练时间，帮助客户节省成本。HBM3E容量更大，支持更大规模的大型语言模型，有助于避免CPU卸载和GPU之间的通信延迟。HBM3E功耗极低，因为主机和内存之间的数据路径较短。通过硅通孔（TSV）与主机通信，HBM3E的功耗比竞争对手低30%，在每个内存实例8Gbps速率下，功耗减少30%。以拥有500,000个GPU的客户为例，仅5年内就能节省超过1.23亿美元运营成本。因此，正如Daniel Newman所说，美光的HBM3E内存在容量、速度和功耗方面表现出色，对于数据中心的可持续发展需求产生积极影响。如需产品规格书、样片测试、采购、BOM配单等需求，请加客服微信：13310830171。