虎博科技发布开源语言模型Tigerbot,表现优于OpenAI和BLOOM

新知榜官方账号

2023-09-11 16:20:35

虎博科技于6月7日发布并开源了自研的多语言多任务大规模语言模型Tigerbot,上线仅一日,已在开源社区GitHub上获超1000Stars,深受广大开发者喜爱。

Tigerbot涉及模型、代码、数据三部分内容,包含TigerBot-7B-sft、TigerBot-7B-base、TigerBot-180B-research等多个模型版本;基本训练且覆盖双卡推理180B模型的量化和推理代码;以及达100G的预训练数据、监督微调1G/100万条数据。

TigerBot-7B-base的综合表现优于同等可比的OpenAI和BLOOM,TigerBot-180B-research的参数量达1800亿,或是目前业内最大的大规模语言模型,而高达100G的预训练数据,更被视为目前业内最大且质量最优的开源预训练数据之一。

虎博科技与广大开发者共享了大模型应用开发所需的全套API,包括对话(Chat)、插件(Plug-ins)、微调(Fine-Tunes)等,并提供金融、法律、百科等专业领域数据,旨在构建大模型生态蓝图。

Tigerbot基于GPT和BLOOM两个开源模型基础上进行研发,在模型架构、算法以及计算经济性等方面做了一系列优化,主要体现在四方面:(1)、指令完成监督微调的创新算法,以提升可学习型(learnability);(2)、运用ensemble和probabilisticmodeling的方法,实现更可控的事实性(factuality)和创造性(generativeness),进一步避免模型可能产生的“胡说八道”;(3)、在并⾏训练上,突破了deep-speed等主流框架中若⼲内存和通信问题,使得在千卡环境下数⽉⽆间断,不仅大大缩短了模型训练的时间,每月还能节省数十万训练费用;(4)、对中⽂语⾔的更不规则的分布,从tokenizer到训练算法等方面做了针对性算法优化,使得模型的问答更具中国文化属性。

TigerBot-7B已达到OpenAI同样大小模型的综合表现的96%,且只是MVP(最小最小可行性模型)。陈烨希望共享阶段性成果,“大模型技术就像是一门新兴学科,将是颠覆式且长周期的,其未来的可能性将超过每个人的想象。”

陈烨认为,现阶段不宜过早和过于理性地探讨产品、应用、场景和商业化,更重要的是推广这一人工智能基础设施的原创突破,促进技术的发展和更新,“开源就是最好的方式”。

本页网址:https://www.xinzhibang.net/article_detail-11206.html

寻求报道,请 点击这里 微信扫码咨询

关键词

虎博科技 Tigerbot 开源 语言模型 OpenAI BLOOM

分享至微信: 微信扫码阅读

相关工具

相关文章