新知榜官方账号
2023-08-22 11:20:28
很多NLP应用程序需要为各种任务手动进行大量数据注释,特别是训练分类器或评估无监督模型的性能。根据规模和复杂程度,这些任务可能由众包工作者在MTurk等平台上以及训练有素的标注人(如研究助理)执行。然而,AI的进化使得淘汰掉的第一批人,就是帮AI训练的人。
来自苏黎世大学的研究者证明了ChatGPT在多项注释任务(包括相关性、立场、主题和框架检测)上优于众包工作平台和人类工作助理。此外,ChatGPT的每条注释成本不到0.003美元,大约比MTurk便宜20倍。这些结果显示了大型语言模型在大幅提高文本分类效率方面的潜力。
研究人员使用了2382条推文样本,并将任务作为零样本分类提交给ChatGPT和MTurk众包工作者,然后根据两个基准评估了ChatGPT的性能。结果发现,在五分之四的任务上,ChatGPT的零样本准确率高于MTurk。对于所有任务,ChatGPT的编码器协议都超过了MTurk和训练有素的注释者。此外在成本上,ChatGPT比MTurk便宜得多:五个分类任务在ChatGPT(25264个注释)上的成本约为68美元,在MTurk(12632个注释)上的成本约为657美元。这么一算,ChatGPT的每条注释成本约为0.003美元,即三分之一美分——比MTurk便宜约20倍,而且质量更高。
这些结果表明,使用大型语言模型进行文本分类可以大幅提高效率,并且可以降低成本。研究人员表示,虽然需要进一步研究以更好地了解ChatGPT和其他LLM如何在更广泛的环境中发挥作用,但这些结果表明它们有可能改变研究人员进行数据注释的方式,并破坏MTurk等平台的部分业务模型。
相关工具
相关文章
推荐
用Deepseek写AI绘图提示词,像呼吸一样简单!
2025-02-19 16:12
你以为AI绘画是黑科技?其实早成了“路边摊生意”!
2025-02-19 10:15
Flux爆火,全网最全面最详细的Flux使用教程!
2025-02-18 14:19
用AI如何创作音乐,实战教学来啦!
2025-02-17 17:23
MidJourney让你秒变绘画大神,从零开始画哪吒!
2025-02-17 14:56
AI应用新境界:让人工智能成为你的得力助手
2025-02-14 15:45
AI短片革命:当创作遇上智能,人人都能成为导演
2025-02-14 14:53
AI狂潮下的人类职场:是失业危机还是进化契机?
2025-02-13 16:53
开启影视创作新纪元,效率提升 10 倍的神器来了!
2025-02-13 15:11
深度解析DeepSeek:当AI技术照进创作产业的未来
2025-02-12 17:16