StabilityAI推出首个用于编程的生成式LLMAI产品StableCode

新知榜官方账号

2023-10-31 16:21:12

StabilityAI宣布推出他们首个用于编程的生成式LLMAI产品——StableCode。该产品旨在帮助程序员完成日常工作,并为新手开发者提供实用的学习工具。官方介绍道,StableCode提供了一种独特的方式,通过使用三种不同的模型来帮助开发者编写代码,从而提示开发效率。

基础模型(basemodel)首先使用来自BigCodestack-dataset(v1.2)的多种编程语言进行训练,然后使用Python、Go、Java、Javascript、C、markdown和C++等流行语言进行进一步训练。总的来说,他们在HPC集群上使用560Btoken的代码训练了模型。

建立好基础模型后,StabilityAI针对特定用例调整指令模型(instructionmodel),以帮助解决复杂的编程任务。为了实现这一结果,他们在基础模型上训练了约120,000个Alpaca格式的代码指令/响应对(instruction/response)。使用StableCodeInstruct生成对给定指令的响应的代码对于那些想要了解更多编码知识的开发者来说,StableCode是理想的构建块,而长上下文窗口模型(long-contextwindowmodel)是确保用户可以使用单行和多行自动完成建议的完美助手。

该模型旨在一次处理更多代码(比之前发布的具有16,000个token的上下文窗口的开放模型多2-4倍),允许用户同时查看或编辑相当于最多5个平均大小的Python文件。使其成为初学者想要迎接更大挑战的理想学习工具。StableCode利用Pytorch深度学习库完成一个相对复杂的python文件(灰色文本为StableCode的预测)。

StableCode的评测数据表明,该产品在编写代码方面的效率得到了显著提高。对于那些想要提高编程效率和学习编程的用户来说,StableCode是一个值得尝试的工具。

本页网址:https://www.xinzhibang.net/article_detail-18429.html

寻求报道,请 点击这里 微信扫码咨询

关键词

StabilityAI StableCode 编程 学习工具 Pytorch

分享至微信: 微信扫码阅读

相关文章