ChatGPT在文本标注任务中表现优于众包工作平台和人类工作助理

新知榜官方账号

2023-08-22 11:20:28

背景介绍

很多NLP应用程序需要为各种任务手动进行大量数据注释,特别是训练分类器或评估无监督模型的性能。根据规模和复杂程度,这些任务可能由众包工作者在MTurk等平台上以及训练有素的标注人(如研究助理)执行。然而,AI的进化使得淘汰掉的第一批人,就是帮AI训练的人。

ChatGPT在注释任务中的表现

来自苏黎世大学的研究者证明了ChatGPT在多项注释任务(包括相关性、立场、主题和框架检测)上优于众包工作平台和人类工作助理。此外,ChatGPT的每条注释成本不到0.003美元,大约比MTurk便宜20倍。这些结果显示了大型语言模型在大幅提高文本分类效率方面的潜力。

实验过程

研究人员使用了2382条推文样本,并将任务作为零样本分类提交给ChatGPT和MTurk众包工作者,然后根据两个基准评估了ChatGPT的性能。结果发现,在五分之四的任务上,ChatGPT的零样本准确率高于MTurk。对于所有任务,ChatGPT的编码器协议都超过了MTurk和训练有素的注释者。此外在成本上,ChatGPT比MTurk便宜得多:五个分类任务在ChatGPT(25264个注释)上的成本约为68美元,在MTurk(12632个注释)上的成本约为657美元。这么一算,ChatGPT的每条注释成本约为0.003美元,即三分之一美分——比MTurk便宜约20倍,而且质量更高。

结论

这些结果表明,使用大型语言模型进行文本分类可以大幅提高效率,并且可以降低成本。研究人员表示,虽然需要进一步研究以更好地了解ChatGPT和其他LLM如何在更广泛的环境中发挥作用,但这些结果表明它们有可能改变研究人员进行数据注释的方式,并破坏MTurk等平台的部分业务模型。

本页网址:https://www.xinzhibang.net/article_detail-10218.html

寻求报道,请 点击这里 微信扫码咨询

关键词

ChatGPT 文本标注 众包工作平台

分享至微信: 微信扫码阅读

相关工具

相关文章