大学生开发出能识别ChatGPT生成文本的应用程序

新知榜官方账号

2023-07-04 00:12:37

大学生开发出能识别ChatGPT生成文本的应用程序

一名22岁的大学生开发了一款应用程序,他声称可以用来检测出文本是否是通过ChatGPT生成的。ChatGPT这款爆炸性的聊天机器人的出现,也引起了人们对学术界剽窃行为的担心。

普林斯顿大学(Princeton University)修读计算机科学与新闻学双学位的大四学生爱德华·田(Edward Tian)利用一个寒假的时间研发出了GPTZero这款应用,在其推出后的一周内就有超三万人注册使用。田说,他开发这款应用的动机是为了解决利用人工智能来躲避反抄袭软件,并且以快速、可信的学术写作水平在考试中作弊的问题。

他最初的推文声称该应用程序可以“快速高效地”检测一篇文章是否由人工智能编写。后来,这条推文快速走红,阅读量超过了500万。由于大量用户的涌入,刚推出的GPTZero应用也因此崩溃。随后,托管这款应用的免费平台Streamlit开始介入,为其提供更多的托管和内存支持,从而解决网络流量问题。

就GPTZero的工作原理而言,为了检测文本是否由人工智能编写,这款应用主要评估的是文本的“困惑性”(perplexity)和“爆发性”(burstiness)这两个指标。前者主要指的是文本的复杂性,而后者主要强调的是句式结构的变化程度。值得一提的是,ChatGPT是在类似的数据库基础上训练出来的,而人类写作的遣词造句通常都更具有随机性。因此,如果GPTZero对测试文本的熟悉程度越高,那它是由人工智能编写出来的可能性就越大。

田还提到,其推出的较新模型也使用了相同的原则,但在检测文本的人工智能参与方面的能力却有所提高。“我将多篇BBC新闻报道和与该报道标题相同但由人工智能编写的文章整理成了一个数据集,以用来测试新的模型。结果发现,新模型的误报率不到2%。”他说。

新南威尔士大学(The University of New South Wales)人工智能首席教授托比·沃尔什(Toby Walsh)则并不相信这款应用的能力。他表示,除非有大公司开始使用GPTZero,否则即便ChatGPT被用于剽窃,它也不可能对ChatGPT的性能产生什么影响。

“对学校教授而言,这个工具既有实用性,但同时也存在一定的危险。如果过于信赖检测结果,那就会出现更多错误的标记。”那位用户补充道。

“有点厉害,不过ChatGPT的确非常强大。”另一位用户写道。

“我通过ChatGPT生成了一段法语文本,并从中挑选了约350词用于检测。检测之前,我还人为轻微修改过这段文本,让整体的风格更加自然,同时还添加了一两句上下文,并加入了一些专有名词。”这位用户补充道,“最后,通过了GPTZero的检测,它显示这段文本更有可能是人类编写的。所以,我并不是特别相信这个应用能真正检测出一定程度的半人工半人工智能编写的文本。”

本页网址:https://www.xinzhibang.net/article_detail-5105.html

寻求报道,请 点击这里 微信扫码咨询

关键词

ChatGPT 人工智能 剽窃

分享至微信: 微信扫码阅读

相关工具

相关文章