关于大语言模型的综述

新知榜官方账号

2023-11-17 04:52:16

概述

本文简述了中国人民大学教授WayneXinZhao等人撰写的关于大语言模型的综述，包括LLMs在预训练、适应调整、应用和能力评估等方面的研究进展。

现有大模型的总体情况概览

文章总结了最近发布的大模型，并展示了它们的开源情况。黄色的部分是开源的模型，可以看到，Meta、Google开源的模型较多。而2021年之后，各家发布的模型也开始增多，其中一眼望去，Google（包括DeepMind）发布的模型相当多。

使用的语料统计

当前大模型使用的语料大多数是公开数据集，包括BookCorpus、CommonCrawl、RedditLinks、Wikipedia等都是常用的数据集。LLMs不再依赖单一的语料库，而是利用多个数据源进行预训练。因此，现有研究通常混合几个现成的数据集（例如C4、OpenWebText和Pile），然后进行进一步的处理以获得预训练语料库。此外，从相关来源（例如维基百科和BigQuery）提取数据以丰富预训练数据中的相应信息也非常重要。

使用的库（开源软件）

文章简要介绍了一系列可用于开发LLM的库，包括Transformers、DeepSpeed、Megatron-LM、JAX、Colossal-AI、BMTrain和FastMoE。

预训练数据源比例

为了开发一款能力强大的LLM，收集来自各种数据源的大量自然语言语料库是关键。现有的LLM主要利用各种公共文本数据集的混合作为预训练语料库。

预训练大模型典型的数据预处理流程

在收集大量文本数据后，必须对其进行预处理以构建预训练语料库，尤其是去除噪音、冗余、无关和潜在有害数据，这可能会极大地影响LLM的容量和性能。

使用的架构和训练细节

当前LLM的主流架构可以大致分为三种主要类型，即编码器-解码器、因果解码器和前缀解码器。文章还展示了主流模型的一些训练细节，包括批次大小、学习速率等。

本页网址：https://www.xinzhibang.net/article_detail-20295.html

寻求报道，请

关键词

分享至微信：

相关工具

通义千问

阿里巴巴最新推出的类ChatGPT响应人类指令的大模型

DeepMind联创新公司推出的AI聊天机器人

HuggingChat

HuggingFace推出的在线聊天机器人，基于Open Assistant模型

TigerBot

虎博科技推出的AI对话聊天机器人，基于TigerBot开源大模型

Open Assistant

免费开源的对话式AI，GitHub星标超3万

Neeva

集成了AI问答的AI搜索引擎

WhatsApp即将推出人工智能聊天机器人

WhatsApp即将推出人工智能聊天机器人作为全球最广泛使用的即时通讯应用之一，WhatsApp正准备迎来一次重大更新——集成的人工智能（AI）聊天机器人。这一功能目前正处于Beta测试阶段，预示着用户交互体验的新纪元。AI聊天机器人的引入今年9月，Meta，WhatsApp的母公司，宣布将在其旗下

分类标签 WhatsApp人工智能聊天机器人

11-22 22:34

GPU成为大模型算力军备竞赛新焦点，国产GPU能否率先打破藩篱？

背景在生成式AI开创的黄金时代，GPU将犹如翱翔于浩渺天空的翅膀，赋予AI大模型行业强大的推进力。英伟达一骑绝尘，AMD紧随其后，英特尔虎视眈眈，而国产GPU厂商在经过AI的洗礼之后，加之国产替代紧迫的“引力”，不能更不应缺席这场“盛宴”。尽管高端芯片的突围实非易事，但国产GPU能否好风凭借力，率先

分类标签 GPU大模型算力军备竞赛国产GPU英伟达

10-23 03:54

Colossal-AI发布全新Llama2训练微调推理方案，训练速度提升195%

Colossal-AI发布全新Llama2训练微调推理方案，训练速度提升195%近期，全球最大的大模型开发工具与社区Colossal-AI发布了一项令人瞩目的消息：全新的Llama2训练、微调、推理方案，可将700亿参数模型的训练速度提升了整整195%。大型语言模型的崛起，特别是ChatGPT等模型

分类标签 Colossal-AILlama2大模型开发工具训练微调推理方案

10-23 03:50

AI大模型的机遇和挑战

AI大模型的机遇和挑战过去数年，AI模型的参数发生了极大变化。尤洋指出，从2016年至2021年1月，AI模型的参数量是每18个月增长40倍；从2018年1月到2021年1月，AI大语言模型的参数量每18个月增长340倍。而相形之下，2016年1月至2021年1月间，GPU的内存增长每18个月仅有

分类标签 AI模型大模型训练Colossal-AI

10-07 10:03

华为智能AI音箱使用心得

华为智能AI音箱使用心得本文是对华为智能AI音箱的使用心得分享，包括开箱、操作介绍、煲机、音质试听以及体验等方面。开箱华为智能AI音箱的外包装以白色为底色，字体、图标均为淡黑色，包装虽不豪华，却给人清新脱俗的感觉，抢眼的是华为标志的那一抹红色。盒子的正面是简单几笔勾勒出来音箱的外形，上方是产品的名称

分类标签华为智能AI音箱音箱评测智能家居

10-02 02:36

谷歌2018年度研究回顾

谷歌2018年度研究回顾...（省略部分内容）

分类标签谷歌研究院AI机器学习深度学习健康数据集

10-02 02:34

复合元音/ai/的发音和嘴型变化

复合元音/ai/的发音和嘴型变化复合元音/ai/是英语中常见的一个双元音，发音时需要嘴的形状从开始到结束都要有变化。这个音的发音方式是/ai/，和单词“eye”发音一样。一些包含这个音的单词有：price，high，try。如果您在学习英语发音时想要练习这个音，可以跟着以下步骤操作：注

分类标签复合元音双元音发音嘴型变化英语发音英语学习

10-02 02:32

CHATGPT中文版——一款免费的AI聊天机器人

CHATGPT中文版——一款免费的AI聊天机器人CHATGPT中文版是一款让人感到兴奋的聊天机器人，它由OpenAI开发，拥有强大的自然语言处理技术。它的任务是理解你的问题并给予回应，就像你和一个朋友聊天一样。这让我们可以问它关于任何事情的问题，从学术知识到日常生活的疑问，都能找到答案。CHATGP

分类标签 CHATGPT中文版聊天机器人

09-29 10:12

Colossal-AI成功复现ChatGPT，开源完整基于PyTorch的ChatGPT复现流程

背景... ChatGPT技术分析... 使用Colossal-AI低成本复现ChatGPT... 背后优化核心系统... 开放协作...

分类标签 Colossal-AIChatGPTPyTorchAI大模型复现

09-29 10:10

ChatGPT卡密验证版源码

ChatGPT卡密验证版源码介绍ChatGPT卡密验证版源码是一个基于PHP7.4和MySQL5.6的聊天AI源码，它采用GPT-3.5接口技术，支持中英文混合对话，能够快速地处理用户的问题和需求。其智能学习算法不断优化对话体验，可以在各类场景下发挥稳定、高效的聊天服务，并提升用户满意度。特点支持暗

分类标签 ChatGPT卡密验证版聊天AI源码

09-29 10:08

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway