智谱AI发布第三代对话大模型ChatGLM3,性能和多模态能力均有显著提升

新知榜官方账号

2023-11-27 02:25:18

引言

随着人工智能技术的飞速发展,自然语言处理(NLP)已成为最具挑战性和活跃的研究领域之一。在这个领域,大型预训练模型已被证明是实现卓越性能的关键。

智谱AI最近发布的ChatGLM3,作为其第三代对话大模型,不仅在性能上有了显著提升,还在多个方面展现了其技术优势。

推理速度和成本

ChatGLM3的推理框架基于最新的高效动态推理和显存优化技术。在相同的硬件和模型条件下,与目前最佳的开源实现相比,如伯克利大学的vLLM和HuggingFaceTGI,ChatGLM3的推理速度提升了2-3倍,推理成本降低了一倍。每千tokens的处理成本仅为0.5分,这在成本效益上具有显著优势。

性能提升

在44个中英文公开数据集的测试中,ChatGLM3表现出色,在国内同尺寸模型中排名首位。在MMLU、CEval、GSM8K和BBH等基准测试中,ChatGLM3分别取得了36%、33%、179%和126%的性能提升。这一成就主要归功于其独创的多阶段增强预训练方法和更丰富的训练数据。

多模态能力

ChatGLM3引入了多模态理解能力,特别是其CogVLM功能,在多个国际标准图文评测数据集上取得了SOTA(StateoftheArt)成果。此外,ChatGLM3还包括代码增强模块和网络搜索增强功能,这些都是其技术升级的一部分。

端侧模型

ChatGLM3推出的端侧模型,如ChatGLM3-1.5B和3B,是为了满足日益增长的边缘计算需求。这些模型特别优化了算法和结构,使其能够在资源受限的设备上高效运行。例如,ChatGLM3-1.5B在标准智能手机上的响应时间减少到了仅300毫秒,而能耗降低了40%,这使得AI技术在移动设备上的应用变得更加广泛和实用。

与二代模型对比

与ChatGLM二代模型相比,ChatGLM3在多个方面都有显著的提升。例如,在处理相同的任务时,ChatGLM3的准确率提高了15%,而处理速度提高了20%。这得益于其改进的算法和更大的训练数据集,使得模型在理解和生成语言方面更加精准和高效。

与国际大模型对比

虽然直接的性能对比数据目前尚不可得,但从已公布的技术细节来看,ChatGLM3在多个方面与国际大模型如GPT-4V相媲美。例如,在多模态理解能力方面,ChatGLM3在国际标准图文评测数据集上的表现与GPT-4V相当,显示出其在图文理解和生成方面的强大能力。此外,ChatGLM3在端侧模型的优化方面也展现了其独特的技术优势,这在国际大模型中尚属罕见。

结语

ChatGLM3的发布不仅是智谱AI技术创新的一个里程碑,也是中国大模型技术发展的一个重要标志。通过不断的技术创新和优化,ChatGLM3展现了其在自然语言处理领域的强大实力和广泛的应用前景。

参考资料

  • HuggingFace
  • GitHub
  • AI快站免费加速模型下载

本页网址:https://www.xinzhibang.net/article_detail-21180.html

寻求报道,请 点击这里 微信扫码咨询

关键词

智谱AI ChatGLM3 自然语言处理 多模态能力

分享至微信: 微信扫码阅读

相关工具

相关文章