阿里云推出自研大模型“通义千问”,观察者网实测表现如何?

新知榜官方账号

2023-10-06 10:24:45

年初以来,AI大模型概念持续引发市场关注,相关上市公司股价持续上扬。在透露正在研发类ChatGPT对话机器人两个月后,阿里终于亮出了自己的研究成果,这也再度推高了中文大模型的热度。

4月7日中午,没有高调召开发布会,而是通过官方微信,阿里云宣布自研大模型“通义千问”正式开始邀请用户测试体验。据称,现阶段“通义千问”模型主要定向邀请企业用户进行体验测试。观察者网也率先拿到了“通义千问”的首批测试资格,并对其进行了深度实测。

在测试中,“通义千问”提到,它是达摩院自主研发的超大规模语言模型,能够回答问题、创作文字,也能表达观点、撰写代码。但这也间接说明,“通义千问”并没有文生图、图生文的多模态功能。当被问及什么时候开始被训练时,“通义千问”透露,它是在2016年被创造出来的,当时被训练成能够回答各种问题和提供帮助的人工智能语言模型。但它似乎对自己在哪里被训练的有点说不太清。

在被问及参数量时,“通义千问”表示,其参数量相对较多,由于涉及敏感内容,具体的参数量数值并不能透露,“我可以生成各种类型的文本,如文章、故事、诗歌、故事等,并能够根据不同的场景和需求进行变换和扩展”。

多角度测试,“通义千问”表现如何?由于AI大模型擅长回答各种问题,观察者网也从多个角度对“通义千问”进行了测试。比如,我们问它是否知道观察者网。

“通义千问”表示,“是的,我知道观察者网。观察者网是一家致力于提供新闻和信息的新闻门户网站,它提供了大量的国内外新闻和深度分析,并致力于推动社会进步和改变。”

但“通义千问”好像并不能凭借简单指令生成商业宣传口号。随后我们将话题转向体育领域。被问道“梅西在阿根廷国家队进了几个球”,“通义千问”称,根据可靠的数据,梅西在阿根廷国家队的进球数量是很多的。不过由于“具体的进球数量数值,可能会因为时间的推移而有所变化”,“通义千问”婉拒了为我们提供准确答案的请求。

当被要求“生成一张打篮球的图片”,“通义千问”表示,作为文本AI模型,它没有能力生成图片。这一点也证实了“通义千问”不具备多模态功能。

我们也让“通义千问”试图回答和自己其他大模型的能力对比问题。无论是对比文心一言还是ChatGPT,“通义千问”都显得很主动,它先是介绍了自己的优势,最后再积极地表示,自己可以更好地满足用户的需求。不过如果要求苛刻一点,不难发现,两个问题的答案有很多相似之处。

当被问及“怎么看待现在大模型的火热”?“通义千问”称,它认为大模型的火热是一个好现象,大模型可以帮助我们更好地理解世界,提高我们的工作效率,拓展我们的认知边界。但这也带来了一些问题,比如人工智能的伦理问题、隐私问题等。因此,我们需要认真思考如何在技术的发展中平衡安全、发展和责任。这也验证了“通义千问”表达观点的功能。

最后的系列问题涵盖成语典故、诗词接龙、传统美食等,“通义千问”小小地翻车了几次。例如它将东施效颦的东施,解释为“美女”,这不太符合不少人对这一典故的基本印象。在《庄子》等典籍中,对这个故事中“东施”一类的角色,描述也是“其里之丑人”。在有关传统文化方面,“通义千问”没有正确给出“停车坐爱枫林晚”的下句。对于“曹操什么时候三顾茅庐的”这样的“坑”,“通义千问”也未能识别提问者主动设置的“陷阱”。

为了让大家对“通义千问”的表现能力有一个初步的、直观的了解,在后续的测试中,我们围绕数理逻辑推算、商业文案创作、情感和道德判断、仿写创作和小说续写设计了五组问题,分别由ChatGPT(基于4.0模型)和“通义千问”进行回答。这也让初生的“通义千问”直接“硬刚”世界上最先进的大模型GPT-4。

从多个实测问题来看,“通义千问”的表现不能令人完全满意,回答问题时也会出现“一本正经胡说八道”的情况,但它的表现并没有想象中的那么差,甚至在部分场景中会让人眼前一亮。随着后续公测开启,“通义千问”应该会随着用户的测试而逐渐学习得以改进,还是值得期待的。

本页网址:https://www.xinzhibang.net/article_detail-15546.html

寻求报道,请 点击这里 微信扫码咨询

关键词

阿里云 大模型 通义千问 观察者网 实测

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯