ChatGPT检测器：AI作弊检测的新利器？

被AI无辜扣上「作弊」的帽子

当你被AI无辜扣上「作弊」的帽子，作何感想？这件事恰恰发生在了一位高三学生LucyGoetz身上。原本她写的一篇社会主义原创论文得了最高分。但是，Turnitin公司的AI写作检测器竟说，Goetz论文结尾是用ChatGPT生成的。Goetz震惊道，「我很高兴能和老师们保持良好的关系」。

而更令人惊讶的是，这个ChatGPT检测器现在已经被210万名教师使用。AI无法打败AI

Goetz的论文中被标记出的部分属于异常情况，但这表明检测器有时会出错。显然，AI是无法打败AI的。这对许多学生来说可能产生灾难性的后果。为了测试Turnitin的检测器，华盛顿时报的记者GeoffreyA.Fowler对Goetz在内的5名高中生进行了测试。他们创作了16篇涵盖真实、AI生成，以及混合来源的论文样本。结果如何呢？Turnitin的检测器至少在一半以上的样本中出现错误，仅是准确识别出了其中6篇，但在3篇上的检测都失败了。其中就包括对Goetz原创论文中8%内容的标记错误。

Turnitin声称其检测器的整体准确率达到98%。该公司还表示，在其自身测试中，类似Goetz论文的情况（即假阳性）发生的概率不到1%。Turnitin的AI检测器详细页面会分配一个总分，并突出显示疑似AI生成的句子。该公司表示，它故意用蓝色而非红色标记疑似AI生成的段落，并在得分下方链接教师资源。

ChatGPT检测器的可靠性和限制

加州康科德市Goetz的AP英语课老师RebeccaDell表示，Turnitin标记AI文本的系统并不总是有效，这令人担忧。与抄袭指控不同，AI作弊没有源文件作为证据，这最容易让老师对学生带有偏见。或许并不是每个人都像Goetz那么幸运。Goetz表示，「对于学生来说，被指控AI作弊尤其令人恐惧。除非你的老师了解你的写作风格，或者对你非常信任，否则没有办法证明你没有作弊」。

然而，Turnitin的人工智能副总裁EricWang称，用软件检测人工智能写作涉及统计学。从统计学的角度来看，人工智能与人类的区别在于它极其稳定地处于平均水平。直白点讲，AI水平很稳定。然而，实际上并非这样一个道理。「像ChatGPT这样的系统就像是自动补全的高级版本，寻找下一个最可能要写的单词。这实际上就是它为什么读起来如此自然的原因。AI写作是人类写作中最可能的子集。」Turnitin的检测器便会「识别出书写过于一致的平均情况」。挑战就在于，有时候有时人类的写作可能确实看起来处于平均水平。在经济学、数学和实验室报告中，学生倾向于遵循固定的写作风格，这意味着他们更有可能被误认为是AI写作。这可能就是为什么Turnitin错误地标记了Goetz的论文，因为它的内容涉及到经济学。

Turnitin的检测器也面临其他重要的技术限制。在它完全检测正确的6个样本中，它们都明显是100%的学生作品，或由ChatGPT生成的。但是当用混合AI和人类来源的论文进行测试时，它经常错误识别单个句子，或完全漏掉人类部分。而且它无法在通过Quillbot（一个可以重新组合句子的改写程序）处理的论文中发现ChatGPT的痕迹。此外，Turnitin的检测器可能已经落后于当前的人工智能技术水平。因为现在已经有更多的创造性和风格化能力的语言模型，例如GPT-4。

AI作弊检测在教育中的利弊

用AI检测，是个好主意吗？既然有出错的潜在可能性（即使只有1%），为什么还要发布人工智能检测器呢？Chechitelli说，「教师希望有威慑作用」。然而，一些教育工作者担心这实际上会提高学生的紧张程度。4月4日，Turnitin已经为大约10,700所中等教育和高等教育机构激活了这款ChatGPT检测器，对学生作业进行「由AI生成」的评分以及逐句分析。密歇根大学迪尔伯恩分校的数字教育副教务长MitchelSollenberger请求Turnitin不要在初始发布时为其校园激活AI检测。他担忧的是，每学期约2万份学生论文，通过Turnitin进行检测的教师可能会因误报，从而导致毫无根据的学术诚信调查。教师不应该成为第三方软件系统的专家。