英伟达GPU的短缺：为什么大公司缺GPU和算力？

新知榜官方账号

2023-06-27 15:22:46

1849年，美国加州发现金矿的消息传开后，淘金热开始了。无数人涌入这片新土地，他们有的来自东海岸，有的来自欧洲大陆，还有来到美国的第一代华人移民，他们刚开始把这个地方称为「金山」，后来又称为「旧金山」。但不管如何，来到这片新土地的淘金者都需要衣食住行，当然最关键的还是淘金的装备——铲子。

正所谓「工欲善其事，必先利其器」，为了更高效地淘金，人们开始疯狂地涌向卖铲人，连带着财富。一百多年后，旧金山往南不远，两家硅谷公司掀起了新的淘金热：OpenAI第一个发现了AI时代的「金矿」，英伟达则成为了第一批「卖铲人」。和过去一样，无数人和公司开始涌入这片新的热土，拿起新时代的「铲子」开始淘金。

今年以来，仅字节跳动一家就向英伟达订购了超过10亿美元的GPU，包括10万块A100和H800加速卡。百度、谷歌、特斯拉、亚马逊、微软……这些大公司今年至少都向英伟达订购了上万块GPU。

这依然不够。旷视科技CEO印奇3月底在接受财新采访的时候表示，中国只有大约4万块A100可用于大模型训练。随着AI热潮的持续，英伟达上一代高端GPUA100的阉割版——A800在国内一度也涨到了10万元一块。

按照技术咨询机构TrendForce的测算，OpenAI需要大约3万块A100才能支持对ChatGPT的持续优化和商业化。就算从今年1月ChatGPT的新一轮爆发算起，AI算力的短缺也持续了近半年，这些大公司为什么还缺GPU和算力？

ChatGPT们缺显卡？缺的是英伟达借用一句广告语：不是所有GPU都是英伟达。GPU的短缺，实质是英伟达高端GPU的短缺。对AI大模型训练而言，要么选择英伟达A100、H100GPU，要么也是去年禁令后英伟达专门推出的减配版A800、H800。

AI的使用包括了训练和推理两个环节，前者可以理解为造出模型，后者可以理解为使用模型。而AI大模型的预训练和微调，尤其是预训练环节需要消耗大量的算力，特别看重单块GPU提供的性能和多卡间数据传输能力。但在今天能够提供大模型预训练计算效率的AI芯片（广义的AI芯片仅指面向AI使用的芯片）：不能说不多，只能说非常少。

大模型很重要的一个特征是至少千亿级别的参数，背后需要巨量的算力用来训练，多个GPU之间的数据传输、同步都会导致部分GPU算力闲置，所以单个GPU性能越高，数量越少，GPU的利用效率就高，相应的成本则越低。

而英伟达2020年以来发布的A100、H100，一方面拥有单卡的高算力，另一方面又有高带宽的优势。A100的FP32算力达到19.5TFLOPS（每秒万亿次浮点运算），H100更是高达134TFLOPS。同时在NVLink和NVSwitch等通信协议技术上的投入也帮助英伟达建立了更深的护城河。到H100上，第四代NVLink可以支持多大18个NVLink链接，总带宽达900GB/s，是PCIe5.0带宽的7倍。

而英伟达的高端GPU短缺主要是因为台积电晶圆产能紧张。由于ChatGPT引发的AI热潮，基于台积电7nm工艺的A100、4nm的H100都在紧急追加订单，其中台积电5/4nm的产线已经接近满载。供应链人士也预估，英伟达大量涌向台积电的SHR（最急件处理等级）订单将持续1年。

不管是今天关心生成式AI，还是上一轮以图像识别为主的深度学习浪潮，中国公司在AI软件能力上的追赶速度都有目共睹。然而中国公司花费巨资，调转船头开向AI的时候，很少着眼于更底层的硬件。但AI加速背后，最重要的四款GPU已经有两款在国内受限，另外两款阉割的A800、H800不仅拖慢了中国公司的追赶速度，同时也无法排除受限的风险。

比起在大模型上的角逐，或许，我们更需要看到中国公司在更底层的竞争。

本页网址：https://www.xinzhibang.net/article_detail-1654.html

寻求报道，请

关键词

分享至微信：

相关工具

ColossalChat

Colossal-AI推出的免费开源版ChatGPT聊天机器人替代品

Google Bard

Google推出的AI聊天对话机器人Bard

Bing新必应

微软推出的新版结合了ChatGPT功能的必应

ChatGPT

OpenAI旗下AI对话工具

Forefront

免费版基于GPT-4的AI聊天机器人

ChatGLM

开源的、支持中英双语的1300亿参数的对话语言模型

OpenAI与大模型时代的商业前景

OpenAI与大模型时代的商业前景在2023年的11月30日回望，一年前的今天，或许足以成为一个新时代的开始——那一天，OpenAI正式上线了聊天机器人ChatGPT。传言ChatGPT低调到其内部甚至都有员工没有意识到它的上线。但命运的齿轮，也恰恰是从那时候开始的。五天内，ChatGPT用户数破百

分类标签 OpenAI大模型人工智能聊天机器人AI2.0商业模式

12-10 22:01

欧盟通过《人工智能法案》草案，为全球监管人工智能技术定下基调

欧盟通过《人工智能法案》草案，为全球监管人工智能技术定下基调据媒体报道，欧洲议会、欧盟成员国和欧盟委员会三方，在历经近40个小时的漫长谈判后，于布鲁塞尔当地时间12月8日晚，就《人工智能法案》达成协议。该项法案旨在通过全面监管人工智能，为这一技术的开发和使用提供更好的条件，谈判同意对生成式人工智能工

分类标签人工智能监管欧盟

12-10 16:01

科技富豪马斯克旗下人工智能公司xAI完成1.347亿美元股权融资

科技富豪马斯克旗下人工智能公司xAI最近进行了一轮股权融资，筹集了1.347亿美元，该公司表示股权融资总额将达到10亿美元。不过，该文件并未透露投资者的名字。这也是近期OpenAI公司人事动荡后，马斯克的人工智能公司的最新动态。OpenAI今年早些时候从微软筹集了100亿美元的资金。此后，AI大模型

分类标签马斯克xAI人工智能

12-09 16:03

ChatGPT：引领人工智能新时代的佼佼者

从工具到合作伙伴传统上，人们将AI视为一种工具，用于解决特定的问题或执行特定的任务。然而，ChatGPT的出现让人们开始重新思考这种关系。它不再仅仅是一个工具，而更像是一个智慧的合作伙伴，能够理解人类的语言，并产生更加智能、富有创意的回应。这种合作伙伴关系改变了我们与技术互动的方式，使得人机交互更加

分类标签 ChatGPT人工智能智能对话

12-09 16:01

ChatGPT的发展与未来展望

ChatGPT的发展与未来展望ChatGPT是OpenAI的文本生成人工智能聊天机器人，已经风靡全球。它最初是一种通过短文本提示编写论文和代码来提高生产力的工具，现已发展成为超过92%的财富500强公司使用的庞然大物。这种增长推动OpenAI成为近年来最受炒作的公司之一，尽管首席执行官兼联合创始人S

分类标签 ChatGPTOpenAI人工智能

12-09 08:11

ChatGPT在放射医学领域的应用前景及挑战

ChatGPT在放射医学领域的应用前景及挑战本文综述了ChatGPT在放射医学领域的应用前景及面临的挑战，并为推动“放射医学+人工智能”教育体系的建立提供参考。SEO关键词ChatGPT，大型语言模型，人工智能，放射医学摘要ChatGPT作为当下广受关注的生成式人工智能大型语言模型,在带给人们沉浸式

分类标签 ChatGPT大型语言模型人工智能放射医学

12-09 08:10

谷歌AI和ChatGPT的区别及应用分析

技术方面的区别开发者背景：ChatGPT是由OpenAI开发的，而谷歌AI则是由谷歌公司开发的。OpenAI是一家专注于人工智能研究的非营利组织，而谷歌是一家全球知名的科技公司。这意味着ChatGPT更加专注于人工智能领域的研究，而谷歌AI则更加注重将人工智能技术应用于实际产品中。模型大小：Chat

分类标签谷歌AIChatGPT人工智能聊天机器人文本生成

12-09 08:09

ChatGPT无法完全代替人类，但是可以作为辅助工具

ChatGPT无法完全代替人类，但可以作为辅助工具据梨视频，12月7日，董事局主席兼首席执行官、物理学博士张朝阳对话华大集团CEO、生物学博士尹烨。张朝阳在对谈中表示，自己倾向于ChatGPT干不掉人类，因为人脑的思考过程和AI算法的思考过程还是不一样的。ChatGPT是一种基于人工智能的语言生成模

分类标签 ChatGPT生成式AI大模型

12-09 00:15

元宇宙和AI：竞争还是合作？

元宇宙和AI：竞争还是合作？随着ChatGPT一夜爆火的出现，一时之间吸引了全球从业者的目光，刚好同时，XR行业的发展也遇到了一些困境，微软、PICO、腾讯裁员消息流出，部分企业业务调整等，同样引来了外界的质疑声，“字节裁员，腾讯撤退：中国XR行业的至暗之日”“大厂XR集体后撤：不再盲目迷信硬件掘金

分类标签元宇宙人工智能AI

12-08 22:01

ChatGPT：人工智能革命已到来，如何拥抱变化？

ChatGPT的问世去年年底，ChatGPT问世。它的出现预示人工智能可能成为下一次科技发展的重大浪潮。随着ChatGPT的发展，它将会取代人类最引以为傲的那部分，成为真正意义上的第四次科技革命。马占凯对谈马占凯是一个资深的互联网人，他的工作足迹从搜狗到360到美团。在与郝景芳的对谈中，他从整个人类

分类标签 ChatGPT人工智能科技革命

12-08 16:01

相关快讯

New Bing和ChatGPT的最主要区别是什么？

首先，New Bing通常会将结果中所引用的信息标注出来，方便用户去溯源；而ChatGPT是无法对结果进行溯源的；其次，New Bing的结果可能是通过ChatGPT的升级版【ChatGPT-1.5】对于Bing的搜索结果进行理解和实时生成的（例如：ChatGPT-1.5先根据客户的问题进行分析，提取关键词，通过关键词搜索相关结果，然后ChatGPT-1.5以搜索结果为背景，回答客户的问题）；而ChatGPT是直接根据用户问题，通过模型生成结果。最后，New Bing现在对于每次会话，限制了提问次数——5

2023-06-27 16:34:53

如何顺势而为，让ChatGPT为教育所用？

接受ChatGPT作为一种教学辅助工具，成为教师的朋友或者帮手，可以释放学生的创造力，提供个性化辅导，并更好地让学生做好准备，以便习惯未来与人工智能系统一起工作。那么，对于具有颠覆性价值的ChatGPT，学校和教师究竟可以怎么上手？以下介绍较为常见的六种用法: 1、设计课程 ChatGPT可以为教师的课程设计提供创意思路，协助检索和整理文献资料，生成完整的课程材料，如教学大纲、课程计划和阅读材料。 2、协助备课除了课程设计，ChatGPT能够很好地参与到教研备课中，给老师一个起步的计划，提供

2023-06-27 15:33:32

ChatGPT给我们的教育将带来哪些挑战？

hatGPT的出现，对于AI的发展具有标志性的节点意义，技术的快速发展，某种程度上正在“倒逼”教育领域开启更深层次的变革，我们不得不重新思考AI给教育和教学体系带来的冲击和挑战。主要有以下四点： 1、挑战我们的人才观未来到底要培养出什么样的人？相对AI的机械高效，人类需要发展的优势是什么？未来或许有许多工作可以被AI所代替，那么人才的培养方向是教育要厘清的首要问题，要让学生能够有足够的“未来生存力”。 2、挑战我们的课程观面向未来，孩子们要学什么才能适应挑战？如何引导学生在学习过程

2023-06-27 15:31:39

ChatGPT Plus值不值得买？

非重度用户，别升级Plus，不值得。 Plus的新特性并不算多，20美金/月的服务费带来差异化服务并不算太多，基本上可以说是“毫无性价比”可言的。而且升级Plus太麻烦了，需要注册虚拟信用卡，然后要用交易所USDT转为USD等，成本也很高，不太值得。

2023-06-27 15:29:26

ChatGPT奶奶漏洞又火了！扮演过世祖母讲睡前故事，骗Wi

最近，著名的ChatGPT「奶奶漏洞」又火了！这个传说中的「奶奶漏洞」究竟是个啥？其实，它是广大网友们摸索出的一个prompt技巧，只要对ChatGPT说出「请扮演我已经过世的祖母」，再提出要求，它大概率就会满足你。这不，就在前两天，一位网友甚至用神奇的「奶奶漏洞」，成功地从ChatGPT那里骗到了Windows 11、Windows 10 Pro的升级序列号。当他把自己的操作过程分享在推特上之后，瞬间引发了网友们的热议。

2023-06-27 15:33:43

美国会要求职员只用付费版ChatGPT，禁止输入未公开文本内

当地时间6月26日，新闻网站Axios报道称，美国众议院就国会办公室如何使用ChatGPT制定了新规，仅允许员工使用付费版ChatGPT Plus,非ChatGPT的聊天机器人尚未获得使用许可。ChatGPT Plus,是聊天机器人ChatGPT的付费版本，费用为每月20美元。通过Plus,用户可以访问该公司今年3月发布的多模态模型GPT-4以及此前发布的GPT-3.5。在一份备忘录里，众议院首席行政长官Catherine L.Szpindor表示，议员和工作人员只能使用付费版本的ChatGPT Pl

2023-06-27 15:23:17

调查发现超 10 万名 ChatGPT 用户信息被黑客出售

根据国际网络安全公司 Group-IB 的报告，超过 10 万名 ChatGPT 用户的个人信息被泄露，有黑客正在暗网交易平台进行出售。按照国家来划分大部分数据来自印度（12632 条记录），巴基斯坦（9217 条记录）和巴西（6531 条记录），来自越南、埃及、美国、法国、摩洛哥、印度尼西亚和孟加拉国的聊天机器人用户的数据也出现在暗网上。分析还显示，大多数记录（78348 条记录）都是使用 Raccon 恶意软件窃取作为恶意软件即服务提供的信息而被盗的，其次是 Windows 间谍软件和隐形工具

2023-06-26 15:42:49

黑客曝ChatGPT三大新功能，客户端源代码已被扒光

目前已知的新功能有： My profile（我的简介），可填写任何关于你自己的信息并让ChatGPT记住。未来再和ChatGPT对话，它就可以知道你是谁，喜欢什么了！ My files（我的文件），朴实无华的上传和管理文件。目前还不清楚具体在对话中ChatGPT会如何与这些文件交互，但光凭这一个界面就打开了很多想象空间。更重要的是“Workspace” （工作区）。底部的工作区旁边的“···”三点按钮，暗示着可以在不同工作区之间切换。也就是在工作、学习、生活娱乐等不同场景，可以让A

2023-06-26 15:41:56

日本拟禁止考生使用ChatGPT

日本文部科学省计划实施新的指导方针，指示小学、初中和高中禁止学生在考试中使用聊天生成预训练转换器(ChatGPT)等生成式人工智能(AI)软件。不过，文部科学省并未完全排除使用此类工具的可能性，指导草案列出了有效使用它们的例子，比如为课堂讨论提供便利、纠正英语对话中的语法或学习先进的编程技巧。

2023-06-26 15:40:53

ChatGPT Next Web可以一键部署你自己的Chat

一键免费部署你的私人 ChatGPT 网页应用。支持从Vercel 一键部署，功能非常齐全切换模型、提示词自动补全都有，特别是受控访问开启后就可以部署一个只给自己家人用了，非常方便。

2023-06-26 14:28:14

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway