Colossal-AI发布类LLaMA基础大模型预训练方案,训练速度提升38%

新知榜官方账号

2023-12-03 10:01:08

背景

在“百模大战”背景下,谁拥有自家大模型,往往被视为核心竞争力。在这个节点下,愿意开源大模型的公司少之又少。但自己从头训练一个大模型,对技术、资金都有很高要求。由此,Colossal-AI最新的开源动作,可以说是应时势所需了。

项目内容

Colossal-AI最新的开源类LLaMA基础大模型预训练方案可以让用户通过32张A100/A800,搞定650亿参数类LLaMA大模型预训练,训练速度提升38%。而像原生PyTorch、FSDP等,则因显存溢出无法运行该任务。HuggingFaceaccelerate、DeepSpeed、Megatron-LM也未对LLaMA预训练进行官方支持。

共有四步:

  1. 安装Colossal-AI
  2. 安装其他依赖项
  3. 数据集
  4. 运行命令

Colossal-AI的优势

Colossal-AI基于PyTorch,可通过高效多维并行、异构内存等,主打为AI大模型训练/微调/推理的开发与应用成本,降低GPU需求等。其背后公司潞晨科技,近期获得数亿元A轮融资,已在成立18个月内已迅速连续完成三轮融资。

本页网址:https://www.xinzhibang.net/article_detail-21854.html

寻求报道,请 点击这里 微信扫码咨询

关键词

Colossal-AI LLaMA 大模型预训练 开源 PyTorch GPU

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯