AI技术发展：ReplitCodeV13B和OpenLLaMA项目发布

新知榜官方账号

2023-09-22 02:10:57

AI技术发展：ReplitCodeV13B和OpenLLaMA项目发布

五一长假最后一天，AI技术的发展依然火热。今天有2个重磅的开源模型发布：一个是前几天提到的Replit的代码补全大模型ReplitCodeV13B，一个是UCBerkeley的博士生HaoLiu发起的一个开源LLaMA复刻项目。以上数据来自DataLearner预训练模型库这两个项目都是开源的模型，就模型的前景来说，值得大家关注。

ReplitCodeV13B模型

Replit是一家在线代码编辑器和云IDE公司。它提供一个在线编程环境,让用户可以编写代码并直接运行和调试程序。2023年4月26日，Replit官方宣布他们正在训练2个代码补全模型，一个是replit-code-v1-3b，一个是replit-finetuned-v1-3b。本次开源的是前者。这两个模型都是27亿参数，但官方并未透露二者的具体差别。从名称看，前者是专注编程相关，后者则是通过某种方法微调得到。当时，官方给出了2个对比测试结果，一个是与开源的编程模型相比，27亿参数的replit-finetuned-v1-3b效果最好，清华大学的CodeGeeX第二，而replit-code-v1-3b得分第三。在非开源的模型对比中，replit-finetuned-v1-3b也取得了第二名的好成绩。关键是，replit这两个模型的参数规模相比较其它模型都很小。2023年5月3日，ReplitCodeV1-3b正式发布，并在HuggingFace上开源。模型也有了更多的细节。ReplitCodeV1-3b模型主要关注代码补全的能力，基于StackDedupv1.2数据集的一个子集进行训练，共包含5250亿个tokens（数据集本身只有1750亿tokens，Replit将其重复了3个Epochs）。ReplitCodeV1-3b支持20种编程语言的补全能力。需要注意的是，该模型从测试看可以很好的识别代码含义，并做补全。但是，与商业化版本的GitHubCopilot相比，工程化能力有欠缺，例如，它的补全可能不会基于单个方法，而是方法结束之后继续补全了其它方法。官方也没有透露效果更好的replit-finetuned-v1-3b未来是否开源，估计按照他们公司的属性，很有可能作为收费服务在云端IDE提供。不过，预训练结果已经发布，并且没有商用限制，基于该模型进行代码补全插件的二次开发应该十分具有前景。预训练结果10.4GB，消费级显卡估计很难带动，希望后面有量化版本出现。ReplitCodeV13B的详细信息参考DataLearner上的模型信息卡：

最近几年AI模型列表|参数大小、类型和发布机构筛选|数据学习(DataLearner)

OpenLLaMA项目

OpenLLaMA7B是UCBerkeley的博士生HaoLiu发起的一个开源LLaMA复刻项目。MetaAI发布LLaMA模型的时候，在论文中详细描述了模型的架构、数据集的处理等信息，并向业界发布了预训练结果。但是LLaMA的许可有一个限制是任何基于LLaMA微调的模型都需要从MetaAI申请原始的预训练结果文件，不允许私自分发。OpenLLaMA的目的是从头开始训练一个类似LLaMA模型，使用的模型架构、context长度、训练步骤、学习速率等，完全按照原始的LLaMA论文设置。唯一的区别是OpenLLaMA使用RedPajama数据进行训练。5月3日，OpenLLaMA发布第一个训练结果，即OpenLLaMA7B模型，70亿参数版本的模型，基于2000亿tokens的RedPajama数据集训练。使用Google的TPU-v4s和EasyLM进行训练。训练过程中的损失函数如下：

由于OpenLLaMA7B完全从头开始训练，因此无需获取原始的LLaMA权重，也不需要遵从LLaMA相关的协议。目前官方说法是这个预览版的预训练结果和训练框架都是基于Apache2.0协议开源。因此商用友好。不过需要注意的是，未来正式版本是否有变更还不确定。OpenLLaMA7B的详细信息参考DataLearner上的模型卡信息：

OpenLLaMA7B（OpenLLaMA7B）详细信息|名称、简介、使用方法|数据学习(DataLearner)

本页网址：https://www.xinzhibang.net/article_detail-12980.html

寻求报道，请

关键词

AI技术 ReplitCodeV13B OpenLLaMA 开源模型代码补全预训练模型库

分享至微信：

相关工具

CodeWhisperer

亚马逊最新发布的免费AI编程助手

HeyCLI

自然语言转义为CLI命令

GitHub Copilot

GitHub AI编程工具

Warp

21世纪的终端工具（内置AI命令搜索）

Hocoos

无代码AI智能在线快速创建网站

CodeGeex

国内团队开发的免费AI编程助手

南威软件集团举办人工智能技术分享会

南威软件集团举办人工智能技术分享会人工智能的蓬勃发展为各个领域的技术升级注入了创新动能，为开发者、工程师带来了丰富的机遇与挑战，南威软件集团一直积极探索大模型技术在多领域的应用。为了进一步推动公司的人工智能技术交流，提高研发效率，集团技术委员会于11月23日邀请各研发部门技术专家，组织公司产品研发及

分类标签人工智能多模态模型大模型编程工具

12-04 16:14

华为发布“AI新新人类”，大模型时代开启

华为发布“AI新新人类”，大模型时代开启威尔伯·施拉姆有一个著名的“最后七分钟”比喻：如果把人类历史的100万年换算成一天的时间，人类文明的演进关键集中在最后七分钟。可以看到，人类在地球上已经有几百万年历史，但人类文明却是在近千年里才飞速发展，背后无疑是因为文字、知识和信息技术。当信息逐渐超载，人类

分类标签华为AI新新人类大模型知识库人类文明智能化

12-04 16:13

CodeGeeX：基于深度学习的代码生成神器

CodeGeeX的概念CodeGeeX是由清华大学知识工程实验室研发的一款基于大模型的全能的智能编程助手，它可以实现代码生成与补全、自动添加注释、代码翻译以及智能问答等功能。它是一个基于transformers的大规模预训练编程语言模型，是一个从左到右生成的自回归解码器，将代码或自然语言标识符（to

分类标签 CodeGeeX深度学习代码生成

11-24 16:13

AI编程：深度学习推动人工智能进程

AI编程的起步与发展早在上世纪50年代，人工智能就有了编程代码的雏形。最初的AI程序主要依靠手工输入的规则来生成代码，这种方法生成的代码非常简单，无法满足复杂需求。60年代起，一些基于统计机器学习的AI编程方法出现，但受限于算法和计算机性能，成效并不明显。那个时代的AI编程可谓起步缓慢，仅局限于简单

分类标签 AI编程深度学习人工智能

11-03 02:18

6个AI效率工具，让你的工作更高效

ChatExcelChatExcel是北大出品的工具，其主要功能就是将用户的“白话语句”转为Excel的执行命令。用户只需要对Excel说要求的效果，ChatExcel就能将Excel数据进行处理，实现自动化操作。PearOCRPearOCR是一款图片文本识别工具，可以直接识别中文、英文图片或者截图

分类标签 AI工具ChatExcelPearOCRDreamPicLookaNameLixCodeGeex

10-31 22:18

微软将在未来几个月内为AI生成的内容增加标记和签名功能

近期，微软在Build2023开发者大会上宣布，将在未来几个月内增加一项功能，让任何人都能识别BinglmageCreator和MicrosoftDesigner生成的图像或视频片段是否是由AI生成的。微软方面表示，这项技术是使用密码学的方法对AI生成的内容进行标记和签名，并附上有关其来源的元数据信

分类标签微软AI生成内容标记签名数字水印

10-23 01:20

Microsoft365推出一系列新功能，包括浏览器扩展和剪贴板支持

Microsoft365推出一系列新功能Microsoft365是微软的一项生产力服务，为用户提供了许多应用，如Word、Excel、PowerPoint和Outlook等。近日，微软宣布了一系列新功能，包括浏览器扩展和剪贴板支持。浏览器扩展微软为Microsoft365的Edge和Chrome浏览

分类标签 Microsoft365浏览器扩展剪贴板支持

10-23 01:18

盛会将至，超级码工厂编程大赛邀您来参加！

盛会将至，超级码工厂编程大赛邀您来参加！长沙·中国1024程序员节作为IT界的技术盛筵，“超级码工厂编程大赛”应运而生，参赛选手将在“世界计算·长沙智谷”展开技术颠覆对决。为此，我们特向所有开发者与技术英雄们发布邀请帖，诚邀您来！本届大赛联合华为、阿里、百度、腾讯、科大讯飞、创新工厂、长沙智谷、各大

分类标签超级码工厂编程大赛AI技术

10-17 02:30

AI绘制插画图标教程

PART1：展示效果图 PART2：AI设置步骤一：编辑-首选项-常规（快捷键Ctrl+k）。注：使用版本为cc2017。步骤2：这次的教程会经常用到轮廓化描边，所以我给它设置快捷键为ctrl+w，使得效率提高一倍，根据自己的习惯进行设置。编辑-键盘快捷键。 PART3：绘制背景部分-四叶草步骤

分类标签 AI插画图标

09-26 23:38

网页设计中PS和AI的应用

网页设计中PS和AI的应用随着互联网的发展，网页设计变得越来越重要。在网页设计中，PS和AI是最常用的工具之一。PS可以用于制作网页素材，比如按钮、背景图等等，而AI则可以用于设计字体、制作图标等等。在使用PS进行网页设计时，我们需要先画出设计草稿图，然后按照参考线找到图形的中心点，并锁定它。接着，

分类标签网页设计PSAI

09-26 23:36

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway