生成式AI大模型背后的硬件供应链：英伟达GPU的大规模短缺

生成式AI大模型兴起引发英伟达GPU短缺

过去半年，生成式AI让很多人为之激动，也让很多人忧虑。一些插画师的工作已经直接受到了Midjourney、StableDiffusion等AI的冲击，ChatGPT、NotionAI也让大量程序员和文字工作者感到了莫大的压力。但恐慌没有必要。

一方面面临失业风险的不只是包括笔者在内的内容创作者，生成式AI也进入了药物研发的流程，接下来还会有更多行业将不可避免引入，反正可能失业的远不止你我，甚至不少公司也焦虑于如何免于被淘汰。

另一方面以太平洋两岸的中美两国为核心，巨头们都在蜂拥进入AI大模型的战场，很多媒体称其为「百模大战」。还有不少科技公司高管也与其他创业者一样跳入AI创业的浪潮，比如谷歌AR/VR负责人ClayBavor、阿里副总裁贾扬清、英特尔首席架构师RajaKoduri。就像是一百多年前的淘金热。

淘金热，图/Ballou’sPictorialDrawing-RoomCompanion(1856)期刊1849年，美国加州发现金矿的消息传开后，淘金热开始了。数十万人涌入这片新土地，他们有的来自美国其他地方，有的来自欧洲，还有来到美国的第一代华人移民，他们刚开始把这个地方称为「金山」，而后又改称「旧金山」，以对比在澳大利亚墨尔本发现的「新金山」。但在那场淘金热中，绝大部分赶来的淘金者并没有积累到过多的财富，反而是大量卖裤子、卖铲子、卖水的商人赚得盆满锅满。基于这段历史，后来的人习惯将产业链上游的公司比作「卖铲人」，而不管下游公司的乱战有多激烈，一些上游公司总能是赢家，比如英伟达。甚至于，一百多年后生成式AI浪潮正在澎湃的此刻，英伟达的「铲子」已经卖到不够卖了。

英伟达的GPU，云服务器厂商也没货了上周，3D游戏先驱、前OculusCTO约翰·卡马克（JohnCarmack）在推特上感叹：一张英伟达的H100GPU在eBay上已经卖到了超过4万美元。图/eBay由于擅长大规模并发计算，从谷歌大脑开始，GPU被广泛应用于深度神经网络的训练和推理等场景，全面替代了CPU。

根据OpenAI的研究报告显示，自2012年起，全球头部AI模型训练算力需求每3-4个月翻一番，每年头部训练模型所需算力增长幅度高达10倍。仅以ChatGPT为例，在推出前训练阶段消耗的总算力就达到3640PF-days（即1PetaFLOP/s效率跑3640天），成本也达到了单次500万美元。同时在过去几个月，越来越多的公司加入到AI大模型和生成式AI的竞争，仅国内已经发布或预告发布的公司就达到了十家之多：百度、阿里、腾讯、字节、华为、知乎、商汤、360、讯飞、昆仑万维，此外还有美团联合创始人王慧文领衔的光年之外、前搜狗CEO王小川的百川智能等创业公司。可想而知，在此期间AI训练和推理的算力需求持续狂飙，雪花般的订单涌向各大云计算平台。

但云计算平台是真的赚钱都赚不过来。据TheInformation报道，近期包括亚马逊AWS、微软Azure、谷歌GCP和甲骨文在内的主要云计算平台都在限制客户对云服务器的使用，一些客户称租用硬件的等待时间已经长达数月。无独有偶，21世纪经济报道也表示，国内主流公有云计算平台也都出现了云端GPU算力供不应求的情况，包括阿里云、腾讯云和京东云，提供英伟达A100GPU的云产品在多个区域都已售罄，或是仅少量可选。

GPU的大规模短缺，一方面当然离不开需求的激增。作为最近一个宣布进入AI大模型战争的巨头，亚马逊也在第一时间就购买了数万张英伟达H100GPU。稍早几天，媒体报道马斯克购买了约一万张高性能GPU。此外，由于美国政府对A100、H100等英伟达高算力GPU的禁令，国内公司在禁令生效前一直在向云服务器厂商购买包含英伟达GPU的云产品，也在加剧高端GPU的缺货状况。

但另一方面，包括OpenAI在内，谁也没有预想到ChatGPT今天的影响规模和发展速度，以及随后引发的各方反应。再加之去年下半年，受大环境疲软影响，全球企业都在强调降本增效，主要云厂商也削减了采购力度，就连这场「百模大战」最大的赢家——英伟达也没有准备好足够多的计算卡：否则台积电的产能利用率也不会降至80%。

大模型或许会输，但总有一些公司肯定赢。

其他厂商的机会在哪里？

从长远来看，未来大模型的研发和部署是必然趋势，每个大模型训练和部署的背后，都需要成千上万个GPU芯片支持。英伟达也很难完全垄断这块庞大的市场，不仅因为及时供货的能力，还在于其他AI公司不会乐见于英伟达GPU一家独大，这也给其他公司留下了空间和时间。

本月早些时候，谷歌研究人员在一篇论文中公布了用于训练AI模型的超级计算机的技术细节，包括如何将4000多个自研的第四代TPU芯片连接成一台超级计算机，通过协同来训练模型。谷歌宣称，该系统比基于英伟达GPU的超算系统速度快了1.7倍，能效高了1.9倍。

过去几年国产GPU均取得了一定的突破，尽管距离英伟达等头部厂商还有很大的差距。但在美国禁令和缺货的背景下，国产GPU仍然有机会谋求成为国内AI市场的PlanB，慢慢壮大之后再寻求进一步的发展，包括挑战英伟达的霸权。

正如投资机构a16z早前评价ChatGPT时所说，「基础设施服务商可能才是最大赢家，获得最多的财富。」尽管大众的目光大都放在各家的大模型上，但在战争的「幕后」，还会有好戏持续上演。