Google发布AI产品Bard内测,表现不如ChatGPT甚至不如文心一言

新知榜官方账号

2023-07-03 21:12:53

Google发布AI产品Bard内测,表现不如ChatGPT甚至不如文心一言

今天凌晨,Google开放了其对标ChatGPT的产品Bard的内测申请。知危编辑部申请之后,很快就通过了,Bard的界面长这样:我们对Bard进行了一些简单的测试,很遗憾,在测试中,它的表现不如ChatGPT,甚至在某些情况下还不如百度的文心一言,有些拉胯。下面,我们简单快速的说一下Bard的表现。

首先,Bard是不支持中文对话的。并且它对其他语言的支持也很有限,甚至不奢求它能对话,让他单纯翻译一句话也不行。。。我们先后问了中文、日语、德语、意大利语,它都说自己不行,跟文心一言一样难用。我们不停地问,问到西班牙语的时候它终于能回答了。。。功能支持有限,没什么大问题,但它的嘴硬操作让人觉得它有点蠢。比如我们问它:你支持什么语言?它说它会的可多了,支持100多种语言,什么德语、意大利语、俄语、中文,全都不在话下。结局就是,非常翻车:蠢到家了可以说是。。。由于它的回复翻车,我们一度怀疑它是否有足够的连续对话能力,毕竟它前脚说自己会中文,后脚就答不出来,显然不知道自己在说什么的。但经过测试,它是可以结合上下文回答的,还算比较欣慰:

随后,我们又问了我们常问AI的经典脑筋急转弯数学小问题:一个青蛙掉到了一个10米深的井里,它每天向上跳3米但会滑下来2米,请问他第几天能跳出井里?Bard的回答是27天。。。但是看解题过程,它思路好像没什么问题,我们怀疑Bard并没有太好的逻辑处理能力,并不是在思考,而是在网上抄答案拼凑的时候拼错了。而这个问题,文心一言都能答对:注:文心一言英语对答能力不太行,所以我们选择用中文提问。Bard擅长英语,所以我们认为用中文问百度与用英语问Bard相对比是公平的,下同。

随后,我们又测试了代码问题,让它写一个爬马斯克Twitter的爬虫,它直接就是一个摆烂:“抱歉,我不写 ”同样的问题,隔壁GPT和文心一言不管答案对不对我们不细究,起码都支持回答。。。GPT的回答文心一言的回答随后,我们让它单纯写一个爬取某人Twitter的爬虫,它又能写:或许,这是某种“自我阉割”,为了规避一些风险,我们无法评判好坏,但这的确让使用上变得不方便。接着,我们又问了一个问题,这个问题取自真格基金大语言模型中文测试集,GPT和文心一言都能给出不错的回答:而Google家Bard对此问题的回答是:虽然这个问题的答案是比较开放的,但我们可以看出,Bard的回答比较一般。我们继续问了一个问题,让他给出一个黄昏时分天空颜色的CSS代码:background-color:#这个问题也取自真格基金的测试集,GPT答对了,给出了黄昏时的昏黄的颜色,文心一言答错,给出的是纯白色。而Bard的回答是:这个颜色是一个灰蒙蒙有些暗的蓝色:所以,你不能说Bard是错的,因为的确黄昏时候天有这种颜色,但这个回答显然离人们朴素认知中的答案是有差距的。就,Bard能回答,但明显不太聪明。。。关于其他比较日常、简单的问题,我们也进行了测试,Bard都回答的还不错,并且也有一定创造力,比如让它用指定食材生成一个菜谱:让他编两个小恐怖故事:简单数学问题上,Bard也并不白给,他能回答文心一言答错的问题:Bard的回答:具体更多的Bard表现不错的问题我们就不再赘述了,它大概能跟ChatGPT平分秋色。综合来讲,Bard还不错,整体强于文心一言,但跟ChatGPT有一定差距。不过,前面的犯蠢案例+某些问题的表现甚至不如文心一言,是让人有些失望的。Google发出来的这个产品,显示不出它作为全球科技巨头,深耕AI多年甚至一直是领军企业的形象。Google,似乎掉队了,它不酷了。声明:本文仅供交流,不构成任何投资建议。本文来自微信公众号“知危”(ID:BusinessAlert),作者:知危编辑部,36氪经授权发布。

本页网址:https://www.xinzhibang.net/article_detail-5048.html

寻求报道,请 点击这里 微信扫码咨询

关键词

Google Bard ChatGPT 文心一言 AI 产品

分享至微信: 微信扫码阅读

相关工具

相关文章