新知榜官方账号
2023-09-11 16:20:35
虎博科技于6月7日发布并开源了自研的多语言多任务大规模语言模型Tigerbot,上线仅一日,已在开源社区GitHub上获超1000Stars,深受广大开发者喜爱。
Tigerbot涉及模型、代码、数据三部分内容,包含TigerBot-7B-sft、TigerBot-7B-base、TigerBot-180B-research等多个模型版本;基本训练且覆盖双卡推理180B模型的量化和推理代码;以及达100G的预训练数据、监督微调1G/100万条数据。
TigerBot-7B-base的综合表现优于同等可比的OpenAI和BLOOM,TigerBot-180B-research的参数量达1800亿,或是目前业内最大的大规模语言模型,而高达100G的预训练数据,更被视为目前业内最大且质量最优的开源预训练数据之一。
虎博科技与广大开发者共享了大模型应用开发所需的全套API,包括对话(Chat)、插件(Plug-ins)、微调(Fine-Tunes)等,并提供金融、法律、百科等专业领域数据,旨在构建大模型生态蓝图。
Tigerbot基于GPT和BLOOM两个开源模型基础上进行研发,在模型架构、算法以及计算经济性等方面做了一系列优化,主要体现在四方面:(1)、指令完成监督微调的创新算法,以提升可学习型(learnability);(2)、运用ensemble和probabilisticmodeling的方法,实现更可控的事实性(factuality)和创造性(generativeness),进一步避免模型可能产生的“胡说八道”;(3)、在并⾏训练上,突破了deep-speed等主流框架中若⼲内存和通信问题,使得在千卡环境下数⽉⽆间断,不仅大大缩短了模型训练的时间,每月还能节省数十万训练费用;(4)、对中⽂语⾔的更不规则的分布,从tokenizer到训练算法等方面做了针对性算法优化,使得模型的问答更具中国文化属性。
TigerBot-7B已达到OpenAI同样大小模型的综合表现的96%,且只是MVP(最小最小可行性模型)。陈烨希望共享阶段性成果,“大模型技术就像是一门新兴学科,将是颠覆式且长周期的,其未来的可能性将超过每个人的想象。”
陈烨认为,现阶段不宜过早和过于理性地探讨产品、应用、场景和商业化,更重要的是推广这一人工智能基础设施的原创突破,促进技术的发展和更新,“开源就是最好的方式”。
相关工具
相关文章
推荐
用Deepseek写AI绘图提示词,像呼吸一样简单!
2025-02-19 16:12
你以为AI绘画是黑科技?其实早成了“路边摊生意”!
2025-02-19 10:15
Flux爆火,全网最全面最详细的Flux使用教程!
2025-02-18 14:19
用AI如何创作音乐,实战教学来啦!
2025-02-17 17:23
MidJourney让你秒变绘画大神,从零开始画哪吒!
2025-02-17 14:56
AI应用新境界:让人工智能成为你的得力助手
2025-02-14 15:45
AI短片革命:当创作遇上智能,人人都能成为导演
2025-02-14 14:53
AI狂潮下的人类职场:是失业危机还是进化契机?
2025-02-13 16:53
开启影视创作新纪元,效率提升 10 倍的神器来了!
2025-02-13 15:11
深度解析DeepSeek:当AI技术照进创作产业的未来
2025-02-12 17:16