LLaMA: 一个开源的大型语言模型套件

新知榜官方账号

2023-09-16 00:30:37

多年来，深度学习界一直倡导开放和透明，这导致了像HuggingFace这样的大型开源项目的出现。深度学习中许多最深刻的思想（如Transformer[2]、自监督学习等）都可以在互联网上公开获取，无论是通过公共代码仓库还是Arxiv预印本。尽管开源已经成为一种常态已有一段时间，但最近大型语言模型（LLM）的受欢迎程度（以及商业应用价值）对这种趋势提出了挑战。如今，许多最强大的大型语言模型（LLM）只能通过API（例如OpenAI或Anthropic提供的）进行访问，使得研究人员和开发者无法获得其源代码和模型参数。虽然我并不打算引发关于当前LLM领域趋势的道德讨论，但这些信息与本帖子的主题——公开可用的LLM——相关。有趣的是，并非所有强大的语言基础模型都隐藏在付费墙后面。一些模型，例如LLaMA，既是公开可用的，又具有非常高的性能，从而在深度学习研究社区保持了开放性的精神。什么是LLaMA？LLaMA并不是单一的模型，而是一组具有不同参数规模的大型语言模型（LLM）套件，参数规模从70亿到650亿不等。LLaMA的设计灵感源自Chinchilla[3]，这些LLM比它们的同类模型稍小，但经过了广泛的预训练（即较小的模型，更多的标记），并旨在提供一组具有不同性能和推理效率之间不同权衡的模型。LLaMA模型的表现令人惊讶，例如，130亿参数的模型与GPT-3[4]大致相当，而650亿参数的模型往往超过了PaLM[5]的性能。

LLaMA套件采用了很多流行的LLM（如GPT-3[4]和PaLM[5]）中常见的架构技巧。例如，LLaMA在每个层内部执行预归一化，这意味着在变换器中，归一化应用于每个层的输入而不是输出。此外，RMSNorm、SwiGLU激活函数和旋转位置嵌入（RoPE）[10]（一种绝对位置嵌入和相对位置嵌入的混合形式）在每个变换器层中都被使用。LLaMA不仅仅发布单个模型，而是提供了一系列不同规模的LLM。以往对LLM的研究往往倡导使用更大的模型，因为更大的LLM在训练过程中通常能够以更少的计算成本达到令人印象深刻的性能水平。然而，LLaMA表明我们可以在显著减少推理成本的同时达到可比较的性能水平。因此，考虑使用较小的LLM是有意义的，尤其是当我们需要部署它们时。

本页网址：https://www.xinzhibang.net/article_detail-11514.html

寻求报道，请

关键词

分享至微信：

相关工具

科大讯飞推出的类ChatGPT的讯飞星火认知大模型

Open Assistant

免费开源的对话式AI，GitHub星标超3万

天工AI助手

昆仑万维与奇点智源联合研发的对标ChatGPT的大语言模型

TigerBot

虎博科技推出的AI对话聊天机器人，基于TigerBot开源大模型

Bing新必应

微软推出的新版结合了ChatGPT功能的必应

百度AI伙伴

百度最新上线的AI搜索对话工具

WhatsApp即将推出人工智能聊天机器人

WhatsApp即将推出人工智能聊天机器人作为全球最广泛使用的即时通讯应用之一，WhatsApp正准备迎来一次重大更新——集成的人工智能（AI）聊天机器人。这一功能目前正处于Beta测试阶段，预示着用户交互体验的新纪元。AI聊天机器人的引入今年9月，Meta，WhatsApp的母公司，宣布将在其旗下

分类标签 WhatsApp人工智能聊天机器人

11-22 22:34

关于大语言模型的综述

概述本文简述了中国人民大学教授WayneXinZhao等人撰写的关于大语言模型的综述，包括LLMs在预训练、适应调整、应用和能力评估等方面的研究进展。现有大模型的总体情况概览文章总结了最近发布的大模型，并展示了它们的开源情况。黄色的部分是开源的模型，可以看到，Meta、Google开源的模型较多。而

分类标签大语言模型预训练适应调整应用

11-17 04:52

GPU成为大模型算力军备竞赛新焦点，国产GPU能否率先打破藩篱？

背景在生成式AI开创的黄金时代，GPU将犹如翱翔于浩渺天空的翅膀，赋予AI大模型行业强大的推进力。英伟达一骑绝尘，AMD紧随其后，英特尔虎视眈眈，而国产GPU厂商在经过AI的洗礼之后，加之国产替代紧迫的“引力”，不能更不应缺席这场“盛宴”。尽管高端芯片的突围实非易事，但国产GPU能否好风凭借力，率先

分类标签 GPU大模型算力军备竞赛国产GPU英伟达

10-23 03:54

Colossal-AI发布全新Llama2训练微调推理方案，训练速度提升195%

Colossal-AI发布全新Llama2训练微调推理方案，训练速度提升195%近期，全球最大的大模型开发工具与社区Colossal-AI发布了一项令人瞩目的消息：全新的Llama2训练、微调、推理方案，可将700亿参数模型的训练速度提升了整整195%。大型语言模型的崛起，特别是ChatGPT等模型

分类标签 Colossal-AILlama2大模型开发工具训练微调推理方案

10-23 03:50

AI大模型的机遇和挑战

AI大模型的机遇和挑战过去数年，AI模型的参数发生了极大变化。尤洋指出，从2016年至2021年1月，AI模型的参数量是每18个月增长40倍；从2018年1月到2021年1月，AI大语言模型的参数量每18个月增长340倍。而相形之下，2016年1月至2021年1月间，GPU的内存增长每18个月仅有

分类标签 AI模型大模型训练Colossal-AI

10-07 10:03

华为智能AI音箱使用心得

华为智能AI音箱使用心得本文是对华为智能AI音箱的使用心得分享，包括开箱、操作介绍、煲机、音质试听以及体验等方面。开箱华为智能AI音箱的外包装以白色为底色，字体、图标均为淡黑色，包装虽不豪华，却给人清新脱俗的感觉，抢眼的是华为标志的那一抹红色。盒子的正面是简单几笔勾勒出来音箱的外形，上方是产品的名称

分类标签华为智能AI音箱音箱评测智能家居

10-02 02:36

谷歌2018年度研究回顾

谷歌2018年度研究回顾...（省略部分内容）

分类标签谷歌研究院AI机器学习深度学习健康数据集

10-02 02:34

复合元音/ai/的发音和嘴型变化

复合元音/ai/的发音和嘴型变化复合元音/ai/是英语中常见的一个双元音，发音时需要嘴的形状从开始到结束都要有变化。这个音的发音方式是/ai/，和单词“eye”发音一样。一些包含这个音的单词有：price，high，try。如果您在学习英语发音时想要练习这个音，可以跟着以下步骤操作：注

分类标签复合元音双元音发音嘴型变化英语发音英语学习

10-02 02:32

CHATGPT中文版——一款免费的AI聊天机器人

CHATGPT中文版——一款免费的AI聊天机器人CHATGPT中文版是一款让人感到兴奋的聊天机器人，它由OpenAI开发，拥有强大的自然语言处理技术。它的任务是理解你的问题并给予回应，就像你和一个朋友聊天一样。这让我们可以问它关于任何事情的问题，从学术知识到日常生活的疑问，都能找到答案。CHATGP

分类标签 CHATGPT中文版聊天机器人

09-29 10:12

Colossal-AI成功复现ChatGPT，开源完整基于PyTorch的ChatGPT复现流程

背景... ChatGPT技术分析... 使用Colossal-AI低成本复现ChatGPT... 背后优化核心系统... 开放协作...

分类标签 Colossal-AIChatGPTPyTorchAI大模型复现

09-29 10:10

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway