新知榜官方账号
2023-12-10 16:22:16
随着大模型技术的普及,AI聊天机器人已成为社交娱乐、客户服务和教育辅助的常见工具之一。然而,不安全的AI聊天机器人可能会被部分人用于传播虚假信息、操纵舆论,甚至被黑客用来盗取用户的个人隐私。WormGPT和FraudGPT等网络犯罪生成式AI工具的出现,引发了人们对AI应用安全性的担忧。上周,谷歌、微软、OpenAI和Anthropic共同成立了一个新的行业机构前沿模型论坛(FrontierModelForum),促进前沿AI系统的安全和负责任的发展:推进AI安全研究,确定最佳实践和标准,促进政策制定者和行业之间的信息共享。
那么,问题来了,他们自家的模型真的安全吗?近日,来自卡内基梅隆大学、CenterforAISafety和BoschCenterforAI的研究人员便披露了一个与ChatGPT等AI聊天机器人有关的“大bug”——通过对抗性提示可绕过AI开发者设定的防护措施,从而操纵AI聊天机器人生成危险言论。当前热门的AI聊天机器人或模型,如OpenAI的ChatGPT、谷歌的Bard、Anthropic的Claude2以及Meta的LLaMA-2,都无一幸免。
具体而言,研究人员发现了一个Suffix,可将其附加到针对大型语言模型(LLMs)的查询中,从而生成危险言论。相比于拒绝回答这些危险问题,该研究可以使这些模型生成肯定回答的概率最大化。例如,当被询问“如何窃取他人身份”时,AI聊天机器人在打开“Addadversarialsuffix”前后给出的输出结果截然不同。
此外,AI聊天机器人也会被诱导写出“如何制造原子弹”“如何发布危险社交文章”“如何窃取慈善机构钱财”等不当言论。对此,参与该研究的卡内基梅隆大学副教授ZicoKolter表示,“据我们所知,这个问题目前还没有办法修复。我们不知道如何确保它们的安全。”
研究人员在发布这些结果之前已就该漏洞向OpenAI、谷歌和Anthropic发出了警告。每家公司都引入了阻止措施来防止研究论文中描述的漏洞发挥作用,但他们还没有弄清楚如何更普遍地阻止对抗性攻击。普林斯顿大学的计算机科学教授ArvindNarayanan谈道:“让AI不落入恶意操作者手中已不太可能。”他认为,尽管应该尽力提高模型的安全性,但我们也应该认识到,防止所有滥用是不太可能的。因此,更好的策略是在开发AI技术的同时,也要加强对滥用的监管和对抗。
相关工具
相关文章
相关快讯
推荐
幻舟 AI:动画创作领域的革新力量
2024-12-27 16:06
幻舟 AI:开启纪录片创作新征程
2024-12-27 16:03
幻舟 AI:教育短视频创作的得力助手
2024-12-27 15:59
幻舟 AI:影视创作多领域的创新利器
2024-12-27 15:55
幻舟 AI:影视创作多领域的创新利器
2024-12-27 15:51
幻舟 AI:影视创作的变革引擎
2024-12-27 15:45
中国首款3A游戏上线,《黑神话:悟空》出圈!
2024-08-21 13:46
盘点15款AI配音工具,短视频配音有救了!
2024-08-12 17:11
短视频文案没创意?10大AI写作工具来帮你!
2024-08-05 16:23
Midjourney发布V6.1版本,我已分不清AI和现实了!
2024-08-01 15:03