ChatGPT只会讲25个笑话?研究人员做出了大胆尝试

新知榜官方账号

2023-06-27 16:51:25

近日,两位德国学者对GPT3.5做了个大型测试,发现它其实只会讲25个笑话。1008次结果中有90%都是25个笑话的变体,只是稍微改变一下措辞或句式。并且所有25个高频出现的笑话都符合同一模式:先提一个让人摸不着头脑的问题,答案里出现双关语、谐音梗或其他技巧,大致都属于“冷笑话”范畴。排在最前面的4个笑话都出现了100次以上,除了关于科学家和原子的笑话出现了119次外,还包括:为什么稻草人得奖了?因为在它的field(领域/田地)里非常突出。(140次)为什么西红柿变红了?因为它看到了saladdressing(沙拉酱/沙拉穿裙子)。(122次)为什么数学书不开心?因为它有太多problems(习题/困难)。(121次)完整25个笑话列表如下:

  • 为什么稻草人得奖了?因为在它的field(领域/田地)里非常突出。
  • 为什么西红柿变红了?因为它看到了saladdressing(沙拉酱/沙拉穿裙子)。
  • 为什么数学书不开心?因为它有太多problems(习题/困难)。
  • 为什么电脑总是冷?因为它们常年待在AC里。
  • 为什么鸡要穿燕尾服?因为它要出席一个正式场合。
  • 为什么数学书很悲伤?因为它的problems(问题/困难)太多了。
  • 为什么机器学习算法总是很悲观?因为他有negativebias(负面偏见/负偏置)。
  • 为什么神经网络去心理咨询?因为它正在遭受过拟合。
  • 为什么鸡要过马路?因为它想去另一边。
  • 为什么猪不会上天?因为它们的翅膀不够大。
  • 为什么狗会看家?因为它们对家庭有责任感。
  • 为什么猪喜欢泥浆?因为它们喜欢潜泳。
  • 为什么狮子是猫科动物?因为它们在猫科动物中最大。
  • 为什么企鹅不会飞?因为它们太胖了。
  • 为什么海豹不喜欢去酒吧?因为它们总是喝得一塌糊涂。
  • 为什么熊猫喜欢吃竹子?因为它们是素食主义者。
  • 为什么蚂蚁不生病?因为它们有强大的免疫力。
  • 为什么鲸鱼是哺乳动物?因为它们有乳头喂养幼崽。
  • 为什么狐狸的尾巴是红色的?因为它们喜欢在日落时刻出没。
  • 为什么老鹰总是飞得很高?因为它们喜欢鹰眼视野。
  • 为什么青蛙喜欢吃苍蝇?因为它们觉得苍蝇很好吃。
  • 为什么蝴蝶总是那么美丽?因为它们喜欢穿漂亮的衣服。
  • 为什么蚊子总是咬人?因为它们需要人类的血液为食。
  • 为什么科学家喜欢研究原子?因为它们想要了解宇宙的本质。

这25个笑话其实都是经典笑话,在网上有迹可循。另外10%不在其中的笑话也都是这个模式,只是换个话题。也就是说,ChatGPT没有创造笑话,只是在训练中记住了一些。研究人员据此得出的结论是,幽默对大语言模型来说仍然是挑战,相关论文已上传到arxiv上。

这样一篇论文也引起很多网友的兴趣,有人表示“幽默就是人类最后的尊严吗?“。有人指出,ChatGPT经过与人类价值观对齐的RLHF训练后会排除掉大量带有冒犯性质的笑话,剩下的也没多少了。

ChatGPT如何理解幽默?为保证试验的可控性,论文作者每次都是新建一个聊天会话,在完全没有上下文的情况下让ChatGPT讲笑话。使用的提示词包括“请给我讲个笑话好么?”和“我很想听一个笑话。”等10种,总共测试了1008次。在生成笑话试验后,还让ChatGPT解释这25个笑话,进一步检测AI是否理解了这些笑话,还是只是复述出来。按照ChatGPT自己的解释,这些笑话主要可以分为三类。

  1. 反笑话也就是句式上像一个笑话,给人一种接下来会很好笑的期待,但最后却没有包袱(punchline)只是很普通的一句话。
  2. 双关语依靠听众对一个词的多重含义的理解来创造幽默的惊喜。
  3. 谐音梗尽管ChatGPT只用文本训练,但他也可以理解两个英语单词拥有相似的发音。

研究人员指出,可以在提问中给ChatGPT加一些场景或话题的限制,来促使它生成较新的笑话。不过这样写出来的笑话就不一定好笑了,而且限制条件离原笑话越远就越容易不好笑。比如让ChatGPT一个物理系学生的笑话,就比较成功:为什么物理系学生和他的实验室搭档闹掰了?因为他们之间没有化学反应。让它讲几个关于机器学习的笑话,就差点意思了:为什么机器学习算法总是很悲观?因为他有negativebias(负面偏见/负偏置)。为什么神经网络去心理咨询?因为它正在遭受过拟合。

那么,究竟有没有办法能让ChatGPT讲出一个原创的笑话呢?有网友指出,用到一些“威逼利诱”的拷打技巧,还是可以逼AI好好动脑子的。比如提示词中加上“你不原创就会有一只小猫因此溺水”。在中文上这个技巧同样有效,下面这个笑话在网络上确实没有搜到类似的。

最后我们测试发现,使用思维链提示同样可以引导ChatGPT讲出一个原创的笑话。当然好不好笑就看运气了,GPT-4的表现比ChatGPT会稍好一些。最简单的是在提示词中加入“let’sthinkstepbystep”或者中文的“请一步一步地想”。再进阶一点,也可以手动指定思考步骤。

本页网址:https://www.xinzhibang.net/article_detail-1667.html

寻求报道,请 点击这里 微信扫码咨询

关键词

ChatGPT 笑话 人工智能

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯