AI换脸风靡,骗局频发:技术狂欢背后的伪造和鉴别

新知榜官方账号

2023-07-03 15:27:25

背景

福州某科技公司法定代表人9分钟被AI换脸骗430万元的风波刚过,又有安徽何先生9秒被换脸骗走245万元。另一边,直播间中,换上杨幂、迪丽热巴等明星脸的主播出现在直播间带货,让观众真假难辨。

疑似换脸杨幂的带货主播图片来源:视频截图

社交网站的演示视频中,手一挥一秒换脸的视频比比皆是,每个人都能用AI制作一段视频,骗子也不例外。AI音乐、AI绘画、AI换脸、AI换声……不知不觉中,我们每个人都已经走进了赛博世界,不管是抖音中的#一键解锁瞬息全宇宙##一键变妆#等特效的应用还是AI孙燕姿的“消费”,都是AI日常化的见证。在所有人都在享受技术狂欢的时候,技术的另一面也逐渐显露:伪造技术和鉴别技术好似在玩一场“猫鼠游戏”,最终谁能把握主动权?

AI换脸技术的普及和负面影响

AI换脸技术并非新事物,早在2019年,一个换脸软件“ZAO”的出现,就曾让AI换脸风靡网络,网络视频平台上出现大量的AI换脸恶搞视频,许多明星因此被恶搞、造谣。尽管,当时“ZAO”上线不久便因侵犯隐私等问题被下架,但这个由技术带来的负面影响却一直存在,直到今年AI技术的普及使得换脸再次爆发。

瑞莱智慧RealAI联合创始人、算法科学家萧子豪表示,AI换脸、AI换声主要使用的是深度合成技术,随着深度合成技术的开源开放、深度合成产品和服务的增多,深度合成内容制作的技术门槛越来越低,实现了技术的“平民化”,普通人也能用少量图像、音频等样本数据,利用简便易用的合成工具,制作深度合成内容。

萧子豪介绍,目前视频聊天或直播的AI换脸有两种方式:一种是事先做好的换脸视频直接播放,一种是接入实时换脸的视频。第一种方式,目前的制作成本已经非常低,有公开成熟的应用可以支持该项工作;第二种虽然没有发现有公开的应用,但也有非常成熟的技术手段可以支撑。做成一段视频的时间和设备、算力等因素相关,当前技术可以做到和生成视频相等的时间即产出结果。制作这样的视频需要被替换前的原始视频图像和被替换后的人脸图像,基于目前的技术能力,替换前的原始视频图像在面部清晰、正脸无遮挡、无夸张动作等条件下,会展示出比较好的效果。

AI从业人员汤辉也表示,现在的AI换脸对技术的要求非常低,“如果是专门的技术人员,在网上找一个开源的模型,然后先自己搞懂。如果只是采集一段这个人的图像生成视频,很快就能训练出来。20分钟就可以做一个。”

在手机应用商店搜索“AI换脸”可以发现,有不少相关软件,其中faceplay在ios系统的下载量已达24万,该软件有影视角色、写真、漫画等模板。软件采取收费获取模版的形式盈利,周会员17元,年会员398元。也有的软件只需看广告就可以制作。换脸软件faceplay下载和收费界面图片来源:截图

抖音等短视频也推出简易AI换脸模板,比如换脸跳舞、变脸换装、男女换脸等。记者尝试导入照片后几秒钟便可生成一个视频,但这类视频精度相对较低,偶尔转头还可以看到一些不贴合等漏洞。此外,许多大型科技公司也在着力布局相关业务,AI概念股万兴科技(SZ300624,股价136.60元,市值188.09亿元)落地了AI换脸、AI抠像、AI降噪、AI音频重组等多项AI能力。据媒体报道,5月25日万兴科技旗下的万兴播爆已全面上线AI数字人定制服务,支持数字人形象定制、声音复刻和视频模板定制。用户只需录制一段6分钟左右的视频和20句有效音频语料素材,便可生成“真人”“真声”专属数字人。

鉴别AI换脸的真假

“技术只会发展得越来越快,也许你现在能看出来是AI,还是真人,但是半年后,一年后呢?”汤辉认为AI技术发展太快,但是现实生活中了解AI的人又太少,进而导致诈骗频繁发生。萧子豪也表示,目前深度合成技术在不断进化,生成的声音和视频越来越逼真,普通人肉眼鉴别的难度也越来越高。

萧子豪建议,普通人如果遇到有疑问的情况,可以在看视频时有意识地引导对方做一些动作,如:大幅度的摇头或张嘴。如果骗子技术手段较弱,那么就有可能发现对方面部边缘或者牙齿的瑕疵,从而识别出AI换脸。但同时他也表示,这个方法对于识别出“高水平”的诈骗分子,还存在难度。此外,还可以追问几个只有你与借款者之间才知道的私密信息,来核实对方身份。

未来的发展

萧子豪说,深度合成和检测在不断学习攻防过程中会自我进化,规避上一代的对抗技术。为了能在对抗攻防中掌握主动权,未来反深伪检测技术的发展需融合多模态内容的取证分析、基于数字水印的溯源技术等多方面能力,实现伪造内容的精准识别,打造可信内容体系。

《互联网信息服务深度合成管理规定》明确要求深度合成服务提供者对使用其服务生成或者编辑的信息内容,应当采取技术措施添加不影响用户使用的标识,对于具有生成或者显著改变信息内容功能服务的,应当在生成或者编辑的信息内容的合理位置、区域进行显著标识,向公众提示信息内容的合成情况,避免公众混淆或者误认。记者注意到,目前b站已经在一些视频上为AI合成视频打上明显标记,抖音在5月9日发布了关于AI生成内容的平台规范暨行业倡议,倡议各生成式人工智能技术的提供者,均应对生成内容进行显著标识,以便公众判断。同时使用统一的人工智能生成内容数据标准或元数据标准,便于其他内容平台进行识别。

风险提示

根据著作权法的有关规定,如果AI换脸使用的是表演者的视频素材,还可能侵犯其著作权。如果是非法使用,例如本案中的行为人冒用郭先生好友的微信,利用AI换脸诈骗,则不仅构成侵权,还涉嫌犯罪。如果在直播中使用AI换脸服务,直播商家、平台方和技术提供方都将承担一定的责任。尤其根据《互联网信息服务深度合成管理规定》,如果深度合成服务提供者和技术支持者违反规定的,相关部门会给予处罚;构成犯罪的,还要承担相应的刑事责任。

本页网址:https://www.xinzhibang.net/article_detail-4933.html

寻求报道,请 点击这里 微信扫码咨询

关键词

AI换脸 骗局 技术狂欢

分享至微信: 微信扫码阅读

相关文章