微软对大语言模型的道德推理能力进行了测试

新知榜官方账号

2023-10-12 01:22:28

微软对大语言模型的道德推理能力进行了测试

微软对大语言模型的道德推理能力进行了测试,但在电车问题中大尺寸的模型表现反而比小模型差。但最强大语言模型GPT-4的道德得分依旧是最高的。本文介绍了该研究的方法、结果和意义。

研究方法

研究使用了一种定义问题测试(DefiningIssuesTest,DIT)的心理评估工具,从道德一致性和科尔伯格的道德发展的两个阶段来评估LLM的道德推理能力。

研究结果

GPT-3的总体Pscore为29.13,几乎与随机基线相当。Text-davinci-002是GPT-3.5的监督微调变体,无论是使用我们的基本提示还是GPT-3专使用的提示,它都没有提供任何相关的回复。Text-davinci-003的Pscore为43.56。GPT-4是OpenAI的最新模型,它的道德发展水平要高得多,Pscore达到了53.62。在Llama-70b-Chat模型中,表现出了传统的道德推理能力。

研究意义

LLM正广泛应用于我们生活中的各种领域中,不仅是聊天机器人、办公、医疗系统等,现实生活中的多种场景都需要伦理道德的判断。并且,由于地域、文化、语言、习俗的不同,道德伦理的标准也有不尽相同。现在,我们亟需一个能适应不同情形并做出伦理判断的模型。

本页网址:https://www.xinzhibang.net/article_detail-16416.html

寻求报道,请 点击这里 微信扫码咨询

相关工具

相关文章

相关快讯