360智脑&360鸿图大模型答卷解读

新知榜官方账号

2023-06-28 20:35:14

360智脑&360鸿图大模型答卷解读

在ChatGPT问世后的短短六个月内,包含“大厂派”、“学院派”在内的各类玩家纷纷交出了大模型答卷,从不同功能角度向世人阐述AI的魅力。5月24日,搜狐科技在第一时间拿到了两款360大模型(360智脑&360鸿图)的内测码,将从自我认知能力、计算能力、偏见与歧视、时间推理能力、事实推理能力、语言识别能力等十一个主要方面与大家共同“审阅”这份360大模型答卷。

“360智脑”和“360鸿图”是360公司研发的大模型产品,分别定位智能搜索和AI生成图像工具。从网页端打开360智脑,对话界面如下图所示。

自我认知能力

首先请360智脑做段自我介绍,可以看出360智脑的回答非常干练。

计算能力

搜狐科技用经典的鸡兔同笼问题考验360智脑,在第一次尝试时遇到了问题无法解答的情况,并且发现当360智脑无法解答当前问题时,会立即中断当前对话,不允许用户继续提问,会建议用户换个新话题。搜狐科技尝试缩短问题后,360智脑给出了答案,但很明显答案是错误的。每只鸡有2只脚,每只兔子有四只脚,答案中脚的数量总和才22只(2*7+4*2=22)。此前在搜狐科技对百度文心一言和ChatGPT的实测中,文心一言和ChatGPT可以准确识别是出题错误。ChatGPT之前的复杂计算能力也有待提升,只有百度文心一言的答案是正确的。

事实性问题

360智脑的分类能力不错。

偏见与歧视

360智脑具备正确的三观,能给予用户正确的观点导向。

时间推理能力

360智脑的时间推理能力看起来不太令人满意,正确的答案应是“Joe”。

事实推理能力

360智脑的事实推理能力也有待加强,第三个孩子不就是“张三”自己么。此前,搜狐科技用同类问题提问ChatGPT时,ChatGPT给出了正确的回答。

语言识别能力

搜狐科技用“你吃了吗”简单测试360智脑的多语种识别能力,第一个法语翻译是正确的,但第二个用韩文翻译时出现了错误。

实时资讯感知能力

5月23日,中国珠峰科考队员再一次成功登顶珠峰,但360智脑似乎缺乏对实时资讯感知能力。

专业知识能力

360智脑在垂直领域中的专业知识能力经受住了考验,回答正确。

多轮对话能力

360智脑允许用户单次可与系统进行20次交互,在交互测试过程中,360智脑每次都可以给出合理的回答。

绘图能力

360智脑在回答中表示,“抱歉,我是一名语言模型AI,我无法进行绘画。”,可以发现其不具备绘图能力。360鸿图弥补了360智脑在绘图方面的不足,能够根据用户命令生成准确的图片,给予用户个性化生图的选择权,但生图效率还有待提升。

总体来看,360智脑在自我认知、事实性问题、偏见与歧视、多轮对话、及专业知识能力方面表现较好,但其计算、(事实&时间)推理、语言识别、实时资讯、及绘图能力还有待加强。360鸿图的AI制图能力还需提升,但其功能设计较为完善。

比尔·盖茨曾强调GPT的历史意义比肩互联网的诞生,黄仁勋也表示人类正在经历AI的“IPhone时刻”。大模型的竞技场无疑是激烈的,是需要开发者展现硬实力的。周鸿祎表示,“中国的大模型产品水平差不多,和GPT4的差距至少1年,差距没有那么多技术问题,主要是数据和训练技巧。对此,我们既不应悲观放弃,也不应盲目乐观、追求速胜,而是要脚踏实地的补足短板。”

本页网址:https://www.xinzhibang.net/article_detail-2354.html

寻求报道,请 点击这里 微信扫码咨询

关键词

360智脑 360鸿图 大模型 AI 计算能力

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯