AIGC技术带来的潜在危害：从虚构John到无中生有的风险

新知榜官方账号

2023-06-27 19:54:51

概述

AIGC技术的进步让我们每个普通人都处在一种潜在的危险之中。本文从ArtsTechnica虚构的John开始，介绍了StableDiffusion和Dreambooth两种AIGC工具，并探讨了AIGC技术可能带来的风险和挑战。

ArtsTechnica虚构的John

ArtsTechnica为了做人工智能社交图片实验而虚构了一个名为John的小学老师。通过从John的社交媒体上选取了7张含有John的图片，再使用了近期大火的StableDiffusion和谷歌研究院发布的Dreambooth两个AIGC工具，接着就在社交媒体上生成了不同版本、让人真假难辨的John。在这些照片里，John从一位普通的、喜欢分享日常生活的英文老师，一会变成了一个喜欢在教室里、公众场合脱衣服自拍的“危险分子”，一会又变成了一个喜欢穿各种奇装异服搞怪的“小丑”……翻看照片，每一张似乎都不是John，但每一张却都有着John的脸。

StableDiffusion和Dreambooth

StableDiffusion是一个文字转图片的生成模型。可以只用几秒钟时间就生成比同类技术分辨率、清晰度更高，更具“真实性”或“艺术性”的图片结果。Dreambooth则是从文本到图像的“个性化”（可适应用户特定的图像生成需求）扩散模型。它的特点是，只需几张（通常3~5张）指定物体的照片和相应的类名作为输入，即可通过文字描述让被指定物体出现在用户想要生成的场景中。这两个工具之间并没有什么直接的交集，但广大网友们很快就搞出了一个可以将StableDiffusion和Dreambooth结合使用的新工具。在这个新的工具中，你可以使用Dreambooth的功能用任何几张图片作为训练图，在生成目标之后，再结合StableDiffusion强大的文本转化功能，就可以让这个指定目标以任何你所想要描绘的形式出现。

AIGC可能带来的风险和挑战

相较于此前已经被讨论得很多的“深度伪造（Deepfake）”技术来说，AIGC类工具让伪造从“换脸”直接进化到了“无中生有”的阶段，也就是说，任何人通过一句话的描述就可以凭空“变出”一个你。此外，“伪造”技术的门槛也变得更低，跟着一个Youtube视频学个10分钟，没有技术背景的小白也可以轻松掌握。若真的有文章开头这位名为John的小学老师，当有人看到他在教室里或者其他不雅照时，无论真假，很可能仅仅是一个怀疑或者是谣言，就能毁掉他的声誉和事业。

目前，针对这个问题，很多平台也在尝试着用各种方法解决。其中，OpenAI和谷歌等一些平台的解决办法是将工具关在笼子里，仅开放给少数受信任的用户使用；StabilityAI在最新发布的2.0版本的训练数据集中删除了大部分含有不良信息的数据，同时在软件许可协议中明确规定不允许创建人物图像。但政策性的规定毕竟指标不治本，近期，包括StableDiffusion在内的一些平台也在尝试使用技术手段解决这个问题，其中包括“不可见水印”技术。

自从今年AI绘画类工具爆火以来，很多人把目光放在了AI对于艺术创作的颠覆上，但实际上，AI不仅是改变了创作模式，而是可能也对社会秩序发起了挑战。有条件地限制AI的能力，这也可能是在让AIGC改变我们的生活之前，必须要首先解决的问题。

本页网址：https://www.xinzhibang.net/article_detail-1737.html

寻求报道，请

关键词

AIGC StableDiffusion Dreambooth Deepfake 人工智能

分享至微信：

相关工具

开箱即用的 Stable Diffusion WebUI 在线图像生成服务

BigJPG

免费的在线图片无损放大工具

Hotpot.ai

AI图片图像处理和生成工具

6pen Art

面包多团队推出的从文本描述生成绘画艺术作品

Imagine by Magic Studio

AI文字到图片生成

行者AI美术

AI图片生成和美术创作工具箱

11月科技投资：AI领域融资超5亿，VRAR领域融资近2亿，第三代半导体和钠离子电池也有动静

11月科技投资：AI领域融资超5亿，VRAR领域融资近2亿，第三代半导体和钠离子电池也有动静11月，科技领域发生了多笔重大融资，其中包括AI、VRAR、第三代半导体和钠离子电池等领域。本文将对这些领域的融资情况进行介绍，并提供相应的投资策略和风险提示。AI领域11月，德国AlephAlphaGmbH

分类标签 AI领域VRAR领域第三代半导体钠离子电池投资策略风险提示

12-09 16:02

百度文心大模型3.5超越ChatGPT3.5，未来国内只有少量大模型

近日，IDC发布AI大模型技术能力评估报告显示，百度文心大模型3.5拿下12项指标的7个满分，综合评分第一。在面向新浪科技等媒体沟通中，百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜指出，新版本文心一言3.5已超越ChatGPT3.5，未来国内将只会有少量大模型。吴甜指出，大模型的终

分类标签百度文心大模型ChatGPT3.5大模型产业化

12-04 02:50

百度文心一言的起源、意义和技术原理

百度文心一言的起源百度文心一言最初是由百度公司推出的一种短语句生成工具，旨在为用户提供有趣、富有启示性的语句。每个一言都包含了深刻的思想和有趣的灵感，有时会通过幽默和巧妙的比喻来传达某些概念和情感。随着时间的推移，百度文心一言已经成为了一种文化现象，在中国的网络社区中广泛使用。百度文心一言的意义百度

分类标签百度文心一言起源意义技术原理

12-04 02:49

ChatGPT：AI已具备人类智能？

2022年12月，人工智能聊天机器人ChatGPT刷爆网络，网友们争先恐后去领略它的超高情商和巨大威力。参加高考、修改代码、构思小说......它在广大网友的“鞭策”下不断突破自我，甚至可以用一整段程序，为你拼接出一只小狗。那么，ChatGPT是如何炼成的？是否意味着AI已具有人类智能呢？ChatG

分类标签 ChatGPT人工智能自然语言生成

12-02 22:01

ChatGPT：从GPT-2到GPT-4，AI技术的边界不断扩展

ChatGPT：从GPT-2到GPT-4，AI技术的边界不断扩展ChatGPT作为一款革命性的人工智能产品，其成长历程是技术创新和社会影响力相结合的典范。自从OpenAI于2019年推出GPT-2以来，ChatGPT的发展经历了几个关键阶段，每一步都在推动着AI技术的边界。初创时期：GPT-2的问世

分类标签 ChatGPTGPT-2GPT-3

11-25 08:12

StabilityAI发布基于StableDiffusion的视频生成模型StableVideoDiffusion

StabilityAI发布基于StableDiffusion的视频生成模型StableVideoDiffusionStabilityAI发布了基于StableDiffusion的视频生成模型StableVideoDiffusion，可以根据静态图像生成几秒钟的视频，已经超越了用户偏好研究中领先的闭源

分类标签 StabilityAI视频生成模型StableVideoDiffusion

11-24 06:06

人工智能思维与人类思维的本质区别

人工智能思维与人类思维的本质区别一篇新论文认为，从ChatGPT等系统中看到的人工智能，由于缺乏体现和理解，与人类智能有着本质区别。加州大学的安东尼-切梅罗（AnthonyChemero）最近发表了一篇论文，解释了与人类思维相对的人工智能思维。人工智能的兴起引起了技术高管、政府官员和普通大众的不同反

分类标签人工智能人类智能LLMs

11-23 02:04

ChatGPT 4.0升级，更聪明、更高效、更亲切

ChatGPT 4.0升级，更聪明、更高效、更亲切大家有没有觉得，现在的手机助手越来越智能，可以回答我们各种问题，提供各种服务？这是因为人工智能技术不断发展，推出了更厉害的新版本。最近，一款名叫ChatGPT的人工智能助手就升级到了4.0版本，让我们一起来看看它有哪些新变化吧！ChatGPT 4.0

分类标签 ChatGPT人工智能助手4.0版本

11-23 02:03

ChatGPT之父山姆·阿尔特曼回归OpenAI担任首席执行官

ChatGPT之父山姆·阿尔特曼回归OpenAI担任首席执行官经过5天的反转再反转，“ChatGPT之父”山姆·阿尔特曼将回归OpenAI，担任首席执行官一职。就在几分钟前，OpenAI官方在社交平台上表示：“我们已在原则上达成协议，让SamAltman重返OpenAI担任首席执行官，并组建由Bre

分类标签 OpenAI山姆·阿尔特曼人工智能

11-23 02:02

OpenAI创始人辞职引发科技行业动荡

OpenAI创始人辞职引发科技行业动荡据路透社20日援引科技媒体“TheInformation”报道，美国人工智能公司OpenAI董事会成员伊尔亚·苏茨克维当天在给公司员工的一份声明中称，OpenAI创始人山姆·奥特曼将不会重新担任公司首席执行官（CEO），视频流媒体网站Twitch的联合创始人埃米

分类标签 OpenAI人工智能CEO

11-21 02:01