人工智能全景报告发布：OpenAI的GPT-4仍是最强大模型，人工智能公司公开分享最先进研究的文化将结束

研究进展

报告第一部分总结了2023年以来的人工智能技术突破及它们的能力。OpenAI推出GPT-4，展示了专有和次优开源模型之间的能力差距，并在经典AI基准测试和为人类设计的考试中击败了所有其他的大型语言模型。ChatGPT等大模型的成功验证了基于人类反馈的强化学习（RLHF）的力量。业界也在积极寻找RLHF的可扩展替代解决方案，比如Anthropic提出了基于AI反馈的强化学习。不过大模型厂商越来越趋于技术封闭。OpenAI虽然发布了GPT-4的技术报告，但没有透露任何对AI研究人员有用的信息，这标志这AI研究的产业化。谷歌PaLM-2技术报告同样如此，Anthropic更是选择不发布Claude技术报告。直到Meta先后发布开源大模型Llama、Llama2，选择向公众开放模型权重等技术细节，掀起了一场开放竞争的大语言模型竞赛，并形成了开源与专有大模型之间的抗衡。尤其是Llama2可以直接商用，2023年9月，下载量达到了3200万。

就流行度而言，ChatGPT在X（原推特）上被提及的次数最多，为5430次。其次是GPT-4和LLaMA。虽然专有闭源模型最受关注，但人们对开源且允许商业用途的LLM的兴趣在增加。基于Llama和Llama2，业界不断努力通过开发更小的模型、更好的数据集和更长的上下文来实现媲美或超越专有模型的性能。当使用非常专业和精心制作的数据集来训练小型语言模型时，性能可与大50倍的模型相当。上下文长度成为新的参数度量以及AI社区日益重视的研究主题。随着大语言模型的训练参数量和数据量不断增加，人们开始考虑人类产生的数据会有用完的一天吗？目前还不清楚这些数据能够维持AI扩展多久。研究机构EpochAI预测称，假设当前的数据消耗和生产率不变，到2030至2050年将耗尽低质量语言数据库存、2026年前将耗尽高质量语言数据库存、到2030至2060年将耗尽视觉数据库存。在这种情况下，AI生成的内容可以用来扩大可用训练数据池。不过也有一些尚未明确的观点：合成数据虽然变得越来越有用，但有证据表明，在某些情况下，生成数据导致模型遗忘。随着文本和图像生成模型变得越来越强大，识别AI生成的内容以及受版权保护来源的内容，这些问题将长期存在，并变得越来越难以解决。LLM和扩散模型为分子生物学和药物发现带来新突破。比如受到图像和语言生成模型成功的启发，扩散模型可以从头开始设计多种功能蛋白，为生命科学带来了更多可能。此外还能做到：使用语言模型学习进化的蛋白质结构规则，无需基于细胞的实验可以预测扰动多个基因的结果、预测所有单一氨基酸变化结果等。谷歌的Med-PaLM2成为首个在MedQA测试集中达到专家水平的大模型，下一步将走向多模态。AIforScience逐渐兴起，其中，医药发展最快，但数学关注度最高。

行业局势

报告第二部分总结了AI相关的行业发展趋势。AI尤其是大模型的发展意味着现在是进入硬件行业的好时机，GPU巨大需求见证了英伟达盈利井喷，使之进入了1T（万亿）市值俱乐部。英伟达A100、H100GPU集群的数量不断增加，其芯片使用量是AI研究论文中所有其他同类芯片总和的19倍。英伟达在持续推出新芯片的同时，旧GPU也表现出了非凡的生命周期。2017年发布的V100是2022年AI研究论文中最受欢迎的GPU。英伟达虽在GPU市场称王，但也迎来了很多挑战者，比如Cerebras。生成式AI迅速崛起，OpenAI的ChatGPT成为增速最快的互联网产品之一。但是，与YouTube、Instagram、TikTok或WhatsApp等目前最受欢迎的应用程序相比，ChatGPT、Runway或Character.ai等GenAI应用程序的中值留存率和每日活跃用户数较低。在消费软件领域之外，有迹象表明GenAI可以加速实体AI领域的进步。比如自动驾驶领域，Wayve推出了用于生成逼真驾驶场景的AI大模型GAIA-1。此外，谷歌和DeepMind合并为谷歌DeepMind，谷歌《Attentionisallyouneed》论文作者全部离职创业。OpenAI、Anthropic等AI企业正在成为大模型这波技术浪潮的中坚力量。GenAI企业筹集的种子资金比所有初创企业多33%，融资金额比所有初创企业多130%。

现有政策

报告第三部分介绍了人工智能领域的政策制定情况。全球正围绕着少数几种监管方法展开——从轻微监管到高度限制性的都有。关于全球治理的潜在建议已经浮出水面。英国人工智能安全峰会可能会有助于开始将这种想法具体化。

安全问题

报告第四部分总结了AI领域讨论最多的安全问题。之前的StateofAI报告曾警告称，大型实验室忽视了安全问题。2023年，关于AI风险的辩论集中爆发，尤其是「灭绝风险」或灾难性风险，关于这些话题的讨论经常占据头条。当然，并不是每个人都如此悲观，比如Keras作者、谷歌AI研究员FrançoisChollet和图灵奖得主、Meta首席AI科学家YannLeCun。Chollet表示，「不存在任何可以带来人类灭绝风险的人工智能模型或技术……即使你根据scalinglaw将模型能力外推到未来也不会。」但风险投资家MarcAndreessen问道，「可测试的假设是什么？谁会证伪这个假设呢？」不难看出，政策制定者对此感到震惊，并一直在努力积累关于潜在风险的知识。英国首先采取行动，成立了专门的前沿人工智能工作组，美国则启动了国会调查。在此环境下，大型实验室也在积极采取措施，比如DeepMind和Anthropic都公布了相应的安全工具，以评估模型的安全风险。与此同时，存在更大滥用风险的开源模型也备受关注，因此Meta等发布开源大模型的公司也在积极采取措施。

未来预测

在报告的最后一部分，作者给出了他们对于未来一年AI发展趋势的一些预测：一部好莱坞级别的电影将使用生成式人工智能制作视觉效果；一家生成式人工智能媒体公司因在2024年美国大选中滥用人工智能而受到调查；可以自我改进的AI智能体在复杂环境（如AAA游戏、工具使用、科学）中击败SOTA；科技IPO市场解冻，至少有一家专注于人工智能的公司上市（如Databricks）；在GenAI扩展热潮中，一个集团花费超过10亿美元来训练一个大型模型；美国联邦贸易委员会（FTC）或英国竞争和市场管理局（CMA）以竞争为由调查微软与OpenAI的交易；除了高级别自愿承诺之外，作者认为全球人工智能治理将进展有限；金融机构推出GPU债务基金，以取代用于计算融资的风险投资股权资金；人工智能生成的歌曲进入BillboardHot100前10名或SpotifyTopHits2024；随着推理工作量和成本的大幅增长，一家大型人工智能公司（如OpenAI）将收购一家专注于推理的人工智能芯片公司。