AI生成的数据：对模型的影响与人类数据的重要性

新知榜官方账号

2023-07-04 00:08:52

引言

随着GPT-4、StableDiffusion和Midjourney的爆火，越来越多的人开始在工作和生活中引入生成式AI技术。甚至，有人已经开始尝试用AI生成的数据来训练AI了。难道，这就是传说中的「数据永动机」？

然而，来自牛津、剑桥、帝国理工等机构研究人员发现，如果在训练时大量使用AI内容，会引发模型崩溃（modelcollapse），造成不可逆的缺陷。也就是，随着时间推移，模型就会忘记真实基础数据部分。即使在几乎理想的长期学习状态下，这个情况也无法避免。因此研究人员呼吁，如果想要继续保持大规模数据带来的模型优越性，就必须认真对待人类自己写出来的文本。

但现在的问题在于——你以为的「人类数据」，可能并不是「人类」写的。洛桑联邦理工学院（EPFL）的最新研究称，预估33%-46%的人类数据都是由AI生成的。训练数据，都是「垃圾」毫无疑问，现在的大语言模型已经进化出了相当强大的能力，比如GPT-4可以在某些场景下生成与人类别无二致的文本。但这背后的一个重要原因是，它们的训练数据大部分来源于过去几十年人类在互联网上的交流。如果未来的语言模型仍然依赖于从网络上爬取数据的话，就不可避免地要在训练集中引入自己生成的文本。对此，研究人员预测，等GPT发展到第n代的时候，模型将会出现严重的崩溃问题。

模型崩溃

那么，在这种不可避免会抓取到LLM生成内容的情况下，为模型的训练准备由人类生产的真实数据，就变得尤为重要了。

模型崩溃是指在给模型投喂了太多来自AI的数据之后，带来的能够影响多代的退化。也就是，新一代模型的训练数据会被上一代模型的生成数据所污染，从而对现实世界的感知产生错误的理解。更进一步，这种崩溃还会引发比如基于性别、种族或其他敏感属性的歧视问题，尤其是如果生成AI随着时间的推移学会在其响应中只生成某个种族，而「忘记」其他种族的存在。而且，除了大语言模型，模型崩溃还会出现在变分自编码器（VAE）、高斯混合模型上。

具体来说，模型崩溃可以分为两种情况：

早期模型崩溃（earlymodelcollapse），模型开始丢失有关分布尾部的信息；
后期模型崩溃（latemodelcollapse），模型与原始分布的不同模式纠缠在一起，并收敛到一个与原始分布几乎没有相似之处的分布，往往方差也会非常小。

与此同时，研究人员也总结出了造成模型崩溃的两个主要原因：

统计近似误差（Statisticalapproximationerror）；
函数近似误差（Functionalapproximationerror）。

其中，在更多的时候，我们会得到一种级联效应，即单个不准确的组合会导致整体误差的增加。

人类数据的重要性

现在，人们普遍担心LLM将塑造人类的「信息生态系统」，也就是说，在线可获得的大部分信息都是由LLM生成的。使用综合生成数据训练的LLM的性能明显降低，就像IliaShumailov所称会让模型患上「痴呆症」。而这个问题将会变得更加严重，因为随着LLM的普及，众包工作者们已经广泛使用ChatGPT等各种LLM。但对于人类内容创作者来说，这是一个好消息，提高工作效率的同时，还赚到了钱。但是，若想挽救LLM不陷于崩溃的边缘，还是需要真实的「人类数据」。

总的来说，由人类生成的原始数据可以更好地表示世界，虽然也可能包含某些劣质、概率较低的数据；而生成式模型往往只会过度拟合流行数据，并对概率更低的数据产生误解。那么，在充斥着生成式AI工具和相关内容的未来，人类制作的内容或许会比今天更有价值，尤其是作为AI原始训练数据的来源。

本页网址：https://www.xinzhibang.net/article_detail-5103.html

寻求报道，请

关键词

分享至微信：

相关工具

CheckforAI

免费在线检测AI内容

GPTZero

超过百万人都在用的免费AI内容检测工具

Sapling AI Content Detector

Sapling.ai推出的免费在线AI内容检测工具

AISEO AI Content Detector

AISEO推出的AI内容检测器

AI Content Detector

Writer推出的AI内容检测工具

GPT Detector

在线检查文本是否由GPT-3或ChatGPT生成

ChatGPT：给学生带来便利，也引发学术诚信担忧

ChatGPT: 给学生带来便利，也引发学术诚信担忧自2022年末爆火以来，人工智能聊天机器人ChatGPT在各领域获得了广泛运用。具备了搜索引擎的全知全能和人工智能的灵活精巧，ChatGPT也受到了广大学生群体的青睐。让ChatGPT代写作业已不罕见，代撰写个人陈述、代参加远程考试等花样“操作”也

分类标签 ChatGPT人工智能学术诚信

12-04 22:22

聊天机器人ChatGPT引发美教育界讨论，如何应对新科技带来的挑战？

人工智能聊天机器人ChatGPT自2022年末爆火以来，在各领域获得了广泛运用。具备了搜索引擎的全知全能和人工智能的灵活精巧，ChatGPT也受到了广大学生群体的青睐。让ChatGPT代写作业已不罕见，代撰写个人陈述、代参加远程考试等花样“操作”也层出不穷。传统教育要如何应对新科技带来的挑战？美国教

分类标签 ChatGPT人工智能教育学术诚信教学新科技

12-04 22:22

AI内容检测工具推荐

AI内容检测工具推荐随着自生成式AI创作机器人的出现，各行各业都开始使用它来撰写文章甚至学术论文。为了确保内容的原创性并保持完整性，一些AI内容检测工具应运而生。以下是几个可以检测AI生成内容的工具：Copyleaks：可以区分AI生成的内容和人类编写的内容，准确性检测超过99%，支持多种语言。GP

分类标签 AI内容检测工具

12-03 02:31

田华开发的GPTZero：一款用来检测ChatGPT作业作弊的应用程序

近年来，由于ChatGPT的出现，越来越多的人开始使用它来完成工作和学习。但是，这种作弊行为却将减弱人们的创作性，因此许多公司和学校禁止员工和学生使用ChatGPT。同时，如何判断一篇文章是由机器生成的，正在成为老师们的难题。田华是普林斯顿大学的一名学生，他开发了一款应用程序GPTZero，用来检测

分类标签 GPTZeroChatGPT作业作弊

11-06 04:10

OpenAI发布AIclassifier工具用于识别人工智能生成的文本

OpenAI最近发布了一款名为AIclassifier的工具，用于识别人工智能生成的文本。这款工具可以在同一主题的人工和AI文本对数据集上进行训练，从而区分AI编写的文本。OpenAI表示，它使用各种供应商来解决自动错误信息和学术不诚实等问题。尽管OpenAI承认该检测工具对1,000个字符以下的

分类标签 OpenAIAIclassifierChatGPT人工智能文本生成器教育工作者

11-06 04:08

ChatGPT来了，教育面临范式升级

ChatGPT来了，教育面临范式升级李晓鹏刚过完年，社交媒体上就传来了人工智能应用ChatGPT火爆出圈的新闻。闻讯而来的网友纷纷与之对话，提出各种要求，结果发现，只要输入要求，它总能给出反馈，就像跟一个全知全能的网友在聊天一样。据说，这是距离通过图灵测试最近的一款人工智能，如果不是事先告知，使用者

分类标签 ChatGPT人工智能教育

11-06 04:07

未来教育中的人工智能：是挑战还是机遇？

近年来，人工智能（AI）在教育领域中的应用越来越广泛，AI工具的出现改变了学生的学习方式，同时也给教师带来了新的考验。然而，学生使用AI工具所带来的影响也引起了人们的关注。美国教师联合会与AI公司GPTZero合作，以检测学生是否在使用GPT等AI工具来完成作业。调查显示，已有48%的学生承认使用A

分类标签人工智能教育学生

11-06 04:06

人工智能深度伪造检测：领先公司榜单

背景当前，初创公司和科技巨头都在竞相开发深度伪造检测设备，试图在聊天技术时代防止人工智能产生的虚假信息激增。本周早些时候，人工智能生成的五角大楼外发生爆炸的图像在社交媒体上迅速传播，此事件竟成为了人工智能研究人员多年来一直警告的数字信息灾难的简要预演。今年早些时候，被一些人称为“人工智能教父”的计算

分类标签人工智能伪造检测深度造假

11-06 04:05

ChatGPT：AI生成文本的利与弊

ChatGPT的利与弊近日，纽约市教育官员宣布禁止学生在公立学校使用ChatGPT的事件引发了争论。语言模型自动生成的内容会「参照」现有作品，产出的速度又几乎无限，人们对其的担忧已经蔓延到了AI学界自身，全球知名机器学习会议之一的ICML最近也宣布禁止发表包含由ChatGPT和其他类似系统生成内容的

分类标签 ChatGPTAI生成文本

11-06 04:04

人工智能与教育：OpenAI的GPT模型引领大变革

人工智能与教育本文探讨了人工智能对教育的影响，特别是OpenAI的GPT模型在教育领域的应用。近年来，GPT模型在生物、语言、图像等领域都有了广泛的应用，而在教育领域，它也展现出了巨大的潜力。未来5-10年，AI将彻底改变教育比尔·盖茨在其博客中表达了GPT模型的出现对教育公平、学校教学、学习方式等

分类标签人工智能教育OpenAI

11-06 04:03

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway