七月樱花7yskyHBM的火最近越烧越旺。SK海力士今年5月刚刚推出最新的HBM3E，英伟达、AMD、亚马逊等巨头已经在排队抢样品了。

　　英伟达与AMD最新的高端GPU产品H100以及MI300中，都配备了目前最新的HBM3。在AI服务器需求飞涨的档口，这对老对手正在积极开发下一代高端GPU，两家都不会放过即将发布的HBM3E。云服务器厂商，如亚马逊和微软，为了推出AI服务器，也带动了HBM 的一大波需求。

　　HBM的热度随着AI的盛行水涨船高，还引起了投资圈的关注，据说开一个HBM的线上会议，能有上万人预约报名。

　　爆火的HBM究竟是个啥？为什么大厂们都在抢HBM？HBM的玩家都有谁？能供应得上吗？

　　存储芯片的行情自去年以来一直不好，虽然一直有触底的声音，但是今年二季度DRAM和NAND的价格还在进一步下跌，DRAM价格跌幅扩大至18%，NAND扩大至13%。与此同时，据集邦咨询最新预测，第三季NAND Flash市场仍处于供给过剩，NAND Flash均价预估将续跌3-8%。

　　在存储市场惨淡的大背景下，HBM作为DRAM的一种，却在今年年初涨了5倍。HBM到底是个啥，凭啥逆势涨价？

　　HBM（High Bandwidth Memory），意为高带宽存储器，是一种面向需要极高吞吐量的数据密集型应用程序的DRAM，常被用于高性能计算、网络交换及转发设备等需要高存储器带宽的领域，高端GPU是其目前最瞩目的应用场合。

　　HBM的作用类似于数据的“中转站”，就是将使用的每一帧，每一幅图像等图像数据保存到帧缓存区中，等待GPU调用。

　　HBM与其他DRAM最大的差别就是拥有超高的带宽。目前最新的HBM3的带宽最高可以达到819 GB/s，而最新的GDDR6的带宽最高只有96GB/s，CPU和硬件处理单元的常用的DDR4的带宽更是只有HBM的1/10。这次被争抢的SK海力士即将推出的HBM3E，带宽甚至达到了1TB/s。

　　HBM的原始形态——GDDR，是独立封装，在PCB上围着处理器转一圈。而变身后的HBM，则在硅中阶层(Silicon Interposer)上叠了起来并和GPU封装在一起。这样一来，面积一下子缩小了很多，并且，HBM离GPU更近了，数据传输也就更快了。

　　HBM将DRAM裸片像摩天大楼一样垂直堆叠，并通过硅通孔（Through Silicon Via, 简称“TSV”）技术将“每层楼”连接在一起，贯通所有芯片层的柱状通道传输信号、指令、电流，以增加吞吐量并克服单一封装内带宽的限制。你可以将HBM想象成一个切的整整齐齐的三明治，TSV就是扎在里面的那根牙签，将整个三明治固定并打通。

　　叠起来之后，直接结果就是接口变得更宽，其下方互联的触点数量远远多于DDR内存连接到CPU的线路数量。因此，与传统内存技术相比，HBM具有更高带宽、更多I/O数量、更低功耗、更小尺寸。

　　自ChatGPT爆火之后，国内外大厂争相竞逐AI大模型。而AI大模型的基础，就是靠海量数据和强大算力来支撑训练和推理过程。参数量越大，AI模型越智能，最新的GPT-4模型据说有1.76万亿参数量。不过，要想支撑如此庞大的数据处理和传输，就要打破“内存墙”。

　　存储和处理器并没有同步发展，过去20年中，硬件的峰值计算能力增加了90,000倍，但是内存/硬件互连带宽却只是提高了30倍。当存储的性能跟不上处理器，对指令和数据的搬运（写入和读出）的时间将是处理器运算所消耗时间的几十倍乃至几百倍。

　　可以想象一下，数据传输就像处在一个巨大的漏斗之中，不管处理器灌进去多少，存储器都只能“细水长流”。而数据交换通路窄以及其引发的高能耗，便是通常所说的“内存墙”。

　　HBM的高带宽相当于把漏斗中间的通道打得更开，让数据可以快速流通，面对AI大模型这种动不动千亿、万亿的参数，服务器中负责计算的GPU几乎必须搭载HBM。

　　目前，高端GPU市场被英伟达和AMD瓜分，两家尖端的GPU都配备了HBM，最新的H100和MI300X都配备了目前最新的HBM3。

　　英伟达将在2024年发布其下一代专为AI和HPC专用的高性能显卡Hopper-Next ，有消息称这款GPU将搭载目前尚未量产的HBM3E， 英伟达已经向SK 海力士寻求样品。据传AMD、微软和亚马逊不甘落后，也在向SK 海力士要HBM3E的样品。

　　大厂们都在争抢的HBM3E是SK 海力士预计明年量产的最新版HBM，并且，现在市面上最先进的HBM3，目前也只有SK 海力士一家可以量产。

　　此外，集邦咨询的数据显示，2022年三大原厂HBM市占率分别为SK海力士50%、三星约40%、美光约10%。预计到2023年，SK 海力士市占率有望提升至 53%，而三星、美光市占率分别为38%及9%。可以说，在HBM领域，SK海力士是名副其实的老大。

　　HBM是DRAM的一种，SK 海力士在DRAM领域长年屈居于三星之后，可以说是DRAM界的“千年老二”。为什么在HBM领域，SK海力士突然“翻身当老大”了呢？SK 海力士在发展HBM的过程中，做对了哪些事？

　　简单来说，就是找对了方向，第一个用技术打开了市场，又能在关键时刻及时调整产能，用数量占据市场。

　　早在2009年，AMD就意识到了DDR在未来发展的局限性。除了上文所说的“内存墙”，也就是数据流得很慢；“功耗墙”也是GPU发展的制约，数据从内存转移到处理器，再从处理器回到内存，一来一回的过程需要挤占功耗，当数据量越来越大，功耗也面临不够用的问题。

　　AMD早早地“预见”到了这点，并且想到了用3D堆叠的方式大幅增加带宽，于是在2009年就开始着手HBM的研发。

　　要想实现3D堆叠，连接每一块DDR的那根“柱子”很重要，也就是TSV硅通孔技术。

　　2011年的时候SK海力士成功研发采用TSV技术的16GB DDR3内存，同年，三星也发布了采用TSV技术的DDR3。最后AMD选择了SK 海力士，两家一起研究HBM。

　　2013年，SK 海力士和AMD终于推出了HBM这项全新的技术，HBM1的工作频率约为1600 Mbps，漏极电源电压为1.2V，芯片密度为2Gb（4-hi），其带宽为4096bit，远超GDDR5的512bit，带宽的增加也就很大程度上缓解了“内存墙”的问题。

　　在功耗方面，GDDR5每瓦功耗的带宽为10.66GB/秒，而HBM每瓦带宽超过35GB/秒，每瓦能效提高了3倍，“功耗墙”的问题也在一定程度上被缓解。

　　虽然具有先发优势，但由于成本高昂，AMD之后便再次投向GDDR的怀抱，没有了“用武之地”，HBM暂时冷了下来。

　　直到2016年，存储老大三星跳过HBM1，直接量产HBM2，同年，英伟达发布Tesla P100显卡，内置三星的16GB HBM2显存，这一下子再将HBM拉回大众视线。

　　基本上一家发布新的，半年内另外一家马上跟上，有时你先，有时我先。就这样从4GB HBM2，到8GB HBM2，再到HBM2E。

　　两家韩厂忙着追赶HBM的时候，另一个巨头美光还在“自娱自乐”。美光没有跟着搞HBM，而是和英特尔一起搞出了一个叫HMC（混合内存）的技术，虽然也使用了TSV，但是和HBM完全不同，也完全不兼容。推出后一直响应寥寥，美光在2018年才正式放弃HMC，开始追赶HBM，2020年才推出HBM2，被韩厂拉开了不小的距离。

　　SK海力士早在2021年10月就发布了全球首款HBM3，并于2022年6月正式量产，供货英伟达。三星虽然在路线技术已经量产，但是要等到今年下半年才能大规模生产，出现在市场上。也就是说，现在市面上只有SK 海力士有HBM3。

　　恰逢天时地利，去年年末ChatGPT横空出世，带动了轰轰烈烈的AI大浪潮，并且这股热潮目前看起来还将持续较长的时间，一下子把HBM这个“冷门”高端内存带到了需求的中心。要想在AI激战中活下来，就必须要抢高端GPU，而高端GPU几乎必备HBM。SK 海力士成为了目前HBM的最大赢家。

　　不过，下一代的HBM3E将在2024年量产，而三星下一代的HBM3P也将在2024年实现。三星在HBM上咬得很紧，SK 海力士能不能保持住目前的优势还有待观察。

　　除了技术上的领先，SK 海力士可以说是审时度势第一名。在HBM 的需求被炒热后不久，就当机立断地扩产，成为三巨头里第一个扩产HBM的厂家。

　　受整个半导体市场行情低迷的影响，以存储为主要业务的SK 海力士的财报很不好看，今年第一季度亏损3.4023万亿韩元（约合人民币191.93亿元），创近十年之最。在这种惨状之下，SK 海力士表示今年的投资规模将减少50%或以上。

　　但是，今年6月初，SK 海力士宣布决定使用最新的尖端 10 纳米级第五代 (1b) 技术大幅提高明年的产量，大部分增量将由 HBM3E 填充。此外，有消息称SK 海力士已着手扩建HBM产线，目标将 HBM产能翻倍，扩产焦点在于HBM3。

　　靠技术打开市场，并用数量占据市场，SK 海力士铁了心要靠HBM克服半导体低迷。

　　今年6月有报道指出，SK海力士正在准备投资后段工艺设备，将扩建封装HBM3的利川工厂，预计到今年年末，后道工艺设备规模将增加近一倍。由于HBM主要是通过垂直堆叠多个DDR来提高数据处理速度，因此只有增加后道设备才能扩大HBM的出货量。这笔投资金额大约在1万亿韩元（约合人民币56.41亿元）。

　　此外，SK 海力士宣布决定使用最新的尖端 10 纳米级第五代 (1b) 技术大幅提高明年的产量，大部分增量将由 HBM3E 填充。

　　今年7月，三星宣布将投资一万亿韩元在天安工厂展开扩产，该厂主要负责半导体封装等后道工艺，三星计划在该厂生产目前正在供应的HBM2和HBM2E等产品，目标明年底之前将 HBM产能提高一倍。此外，三星还计划于下半年量产8层堆叠HBM3和12层HBM3E。

　　美光已开始向客户提供HBM3产品样品，预计这款HBM3产品将于2024年初开始量产，并在2024财年实现可观的收入。此外，美光决定在中国台湾增加HBM内存产品组装和测试能力的投资，以应对人工智能浪潮下该领域出现的强劲需求。

　　先从需求端来看，HBM目前仍然主要被应用于高端GPU中，例如英伟达的H100和AMD的MI300，不过谷歌在其TPU中也采用了HBM来构建Bard基础设施，也可能带动HBM 的需求。

　　花旗预期，2023年HBM DRAM需求（1Gb）将达到35亿片，较去年增加99％，而2024年将达到102亿片，再增191％。

　　从供应端来看，花旗预计，2023年HBM DRAM供应量（1Gb）将达到31亿片，年增长80％，2024年将成长至87亿片，年增183％。

　　虽然大厂们都在积极扩产HBM，但是从预计的供需量来看，供应的增长速度略慢于需求的飞涨。此外，有相关研究单位分析，2023年HBM供需比为-13％，2024年为-15％。近两年HBM或许仍将处于供不应求的状态。