大模型的挑战和问题:邱锡鹏团队分享MOSS发布9个月的经验

新知榜官方账号

2023-09-01 10:04:40

背景

今年2月,复旦大学邱锡鹏团队发布MOSS,成为国内首个发布的类ChatGPT模型,而从ChatGPT诞生至今已过去9个多月,大模型又面临哪些挑战?在24日下午上海市科协举办的青年科学家论坛上,复旦大学MOSS系统负责人邱锡鹏分享了大模型的挑战和问题。

挑战和问题

邱锡鹏总结了包括模型架构、幻觉、多模态的延展、知识来源、自动化评价、平民化等十个科学挑战。他说,大模型之所以称为大模型,是因为可以涌现出丰富的知识和能力。目前大家熟知的Transformer架构非常强大,但缺点也明显,当文章长度变得更长得时候,它的复杂度就变得非常高,因此也限制了模型的进一步扩大。

邱锡鹏认为,大模型的研究需要多方面的合作和创新,需要开放和共享的技术平台和评测标准。呼吁业界开放共享技术。同时,大模型的平民化问题也需要重视,因为平民化能让资源不多的研究者也能使用大模型。大模型总的来讲不仅仅是工程问题,还是值得关注的。他说,随着将来大模型普惠化、平民化的工作,大家在3090显卡上就可以开展关于大模型的研究。

重写

大模型的研究需要多方面的合作和创新,需要开放和共享的技术平台和评测标准,这是复旦大学邱锡鹏团队发布MOSS时所呼吁的。MOSS是国内首个发布的类ChatGPT模型,ChatGPT是当前自然语言处理的主流范式。邱锡鹏认为,大语言模型可以涌现出丰富的知识和能力,但也带来了一些挑战和问题。

邱锡鹏在上海市科协举办的青年科学家论坛上分享了大模型的挑战和问题。他总结了包括模型架构、幻觉、多模态的延展、知识来源、自动化评价、平民化等十个科学挑战。邱锡鹏认为,大模型的研究需要多方面的合作和创新,需要开放和共享的技术平台和评测标准。他呼吁业界开放共享技术,同时也强调了大模型的平民化问题。

邱锡鹏表示,大模型的研究需要多方面的合作和创新,需要开放和共享的技术平台和评测标准。呼吁业界开放共享技术。同时,大模型的平民化问题也需要重视,因为平民化能让资源不多的研究者也能使用大模型。大模型总的来讲不仅仅是工程问题,还是值得关注的。

本页网址:https://www.xinzhibang.net/article_detail-10727.html

寻求报道,请 点击这里 微信扫码咨询

关键词

大模型 自然语言处理 ChatGPT

分享至微信: 微信扫码阅读

相关工具

相关文章