ChatGPT：全球最先进的聊天机器人

ChatGPT（全名：ChatGenerativePre-trainedTransformer）是由OpenAI开发的一个人工智能聊天机器人程序，于2022年11月推出。该程序使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练。ChatGPT目前仍以文字方式交互，而除了可以通过人类自然对话方式进行交互，还可以用于相对复杂的语言工作，包括自动文本生成、自动问答、自动摘要等在内的多种任务。

在自动文本生成方面，ChatGPT可以根据输入的文本自动生成类似的文本（剧本、歌曲、企划等），在自动问答方面，ChatGPT可以根据输入的问题自动生成答案。还具有编写和调试计算机程序的能力。在推广期间，所有人可以免费注册，并在登录后免费使用ChatGPT实现与AI机器人对话。ChatGPT可以写出相似于真人程度的文章，并因其在许多知识领域给出详细的回答和清晰的答案而迅速获得关注，证明了从前认为不会被AI取代的知识型工作它也足以胜任，对于金融与白领人力市场的冲击相当大，但其事实准确性参差不齐被认为是一重大缺陷，其基于意识形态的模型训练结果并被认为需要小心地校正。

ChatGPT于2022年11月发布后，OpenAI估值已涨至290亿美元。上线两个月后，用户数量达到1亿。

ChatGPT的训练过程

ChatGPT训练使用监督学习和强化学习在GPT-3.5之上进行了微调。ChatGPT使用基于人类反馈的强化学习进行训练，这种方法通过人类干预以增强机器学习的效果，从而获得更为逼真的结果。其使用基于GPT-3.5架构的语言模型。在训练过程中，人类训练师扮演着用户与人工智能助手的角色。模型在MicrosoftAzure的超级计算机上训练，并通过近端策略优化算法（ProximalPolicyOptimization）进行微调。这种策略优化算法比信任域策略优化（trustregionpolicyoptimization）算法更为高效。ChatGPT的训练数据包括各种文档以及关于互联网、编程语言等各类知识，如BBS和Python编程语言。关于ChatGPT编写和调试计算机程序的能力的训练，由于深度学习模型不懂编程，与所有其他基于深度学习的语言模型一样，只是在获取代码片段之间的统计相关性。

ChatGPT的特点和局限

虽然聊天机器人的核心功能是模仿人类对话者，但ChatGPT用途广泛。例如，具有编写和调试计算机程序的能力；创作音乐、电视剧、童话故事和学生论文；回答测试问题（在某些测试情境下，水平高于普通人类测试者）；写诗和歌词；模拟Linux系统等。与其前身InstructGPT相比，ChatGPT试图减少有害和误导性的回复。ChatGPT能够记住与用户之前的对话内容和给它的提示。此外，为了防止ChatGPT接受或生成冒犯性言论，输入内容会由审核API进行过滤，以减少潜在的种族主义或性别歧视等内容。

ChatGPT也存在多种局限，OpenAI承认ChatGPT“有时会写出看似合理但不正确或荒谬的答案”，这在大型语言模型中很常见，称作人工智能幻觉。其奖励模型围绕人类监督而设计，可能导致过度优化，从而影响性能，即古德哈特定律。ChatGPT对2021年之后发生的事件知之甚少。据BBC报道，截至2022年12月，ChatGPT不被允许“表达政治观点或从事政治活动”。但研究表明，ChatGPT对两个投票建议应用程序的政治声明表明立场时，表现出亲环境主义、左翼自由主义的取向。训练过程中，不管实际理解或事实内容如何，审核者都会偏好更长的答案。训练数据也存在算法偏差，可能会在ChatGPT被问及人物描述时显现出来，比如当程序接受到首席执行官之类的模糊描述时可能会假设此人是白人男性。

ChatGPT的应用和影响

ChatGPT的出现和流行增强了科技公司对对领域的兴趣和竞争。Google推出了类似于ChatGPT的对话人工智能服务Bard，基于其开发的对话编程语言模型（LaMDA）。百度也于2023年2月确认类ChatGPT聊天机器人项目名字确定为“文心一言”，英文名ERNIEBot。中国初创公司元语智能首发ChatYuan，号称向ChatGPT宣战。2023年2月3日，元语智能宣布ChatYuan功能型对话大模型-API已上线。但不久后其微信小程序便无法打开。

ChatGPT对金融与白领人力市场的冲击相当大，但其事实准确性参差不齐被认为是一重大缺陷，其基于意识形态的模型训练结果并被认为需要小心地校正。ChatGPT将影响对知识工作者的需求。对学术界，尤其是入学申请论文的影响还有待了解。在线技术博客Mashable的迈克·珀尔用多个问题测试了ChatGPT，其中一次他问ChatGPT“中美洲除墨西哥外最大的国家”是哪个，ChatGPT回答称是危地马拉，而答案是尼加拉瓜。在CNBC向ChatGPT询问《TheBalladofDwightFry》的歌词时，ChatGPT给出了完全虚构的歌词。