深度合成技术：新技术带来的风险与挑战

新知榜官方账号

2023-11-12 10:00:54

深度合成技术：新技术带来的风险与挑战

随着人工智能（AI）深度合成技术的日益精湛，越来越多的人遇到过这样的情况：我们明明身处某地，但就在同一时刻，我们的脸、表情和姿态却出现在一些手机App后台、支付界面、门禁闸机，被人盗刷并被用来牟利。

公安部门近年来在上海、浙江、安徽、江苏等地办案发现，多名犯罪嫌疑人使用深度合成技术，将非法盗取或有偿求购的照片和音频进行“活化”、合成为动态视频后进行非法牟利：或是骗过平台的人脸识别机制直接盗取他人账户钱款，或是骗过手机卡注册的人工审核环节，盗用他人手机号进行电信网络诈骗、网络赌博。

深度合成技术，是人工智能领域前沿的一项新技术，从图像合成技术发展而来，是指利用以深度学习、虚拟现实为代表的生成合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术，包括但不限于文本转语音、语音转换、人脸生成、人脸替换、姿态操控等技术。听起来似乎很玄妙，但是一段网传视频显示，经过某深度合成技术软件的“妙手”，一个人的照片被“活化”成了另一个人的一段视频，以假乱真程度之高，竟然成功地骗过了人脸识别核验系统。

据业内人士介绍，深度合作技术近年来实现了飞跃式的发展，而基于深度合成技术的各类应用，也早从2019年开始已经逐渐在影视制作、广告营销、社交娱乐等多个领域落地生根。清华大学今年3月发布的《深度合成十大趋势报告》显示，在国内外主流音视频网站、社交媒体平台上，2021年新发布的深度合成视频的数量较2017年已增长10倍以上。深度合成内容关注度也呈指数级增长，通过对互动数据进行统计，2021年新发布的深度合成视频的点赞数已超过3亿。

此外，越来越多的企业机构开始利用深度合成技术提供面向公众的产品和服务，涵盖图像、视频、音频、文本等多个领域。例如作为人机交互中重要一环的语音合成，被广泛应用于智能客服、语音导航、有声读物、语音助手等场景。不过，正如公安部门在办案中发现的，这项新技术的强大功能也给了不法分子可趁之机，被用来恶意篡改人脸识别信息、实行诈骗、色情服务、制造谣言等违法行为。

这意味着，我们生活的现实世界正在面临着深度合成技术被滥用的风险与挑战。为规避风险，我国正积极探寻有效的治理机制。2019年11月起先后出台的《网络音视频信息服务管理规定》、《网络信息内容生态治理规定》、《中华人民共和国民法典》、《互联网信息服务算法推荐管理规定》，均对生成合成类内容等提出了不同程度的监管要求。今年1月，网信办又起草了《互联网信息服务/深度合成管理规定（征求意见稿）》并向社会公开征求意见。

其中明确规定：任何组织和个人不得利用深度合成服务从事危害国家安全、破坏社会稳定、扰乱社会秩序、侵犯他人合法权益等法律法规禁止的活动，违者将酌情接受法律法规制裁。这份文件还要求，深度合成服务提供者应当依法对深度合成服务使用者进行真实身份信息认证，其所制作的内容需经过审核并保证可追溯。

复旦大学信息科学与工程学院副教授凌力在接受东方卫视采访时表示，深度合成技术具有非常广阔的发展空间和应用空间。未来的应用场景将覆盖图像、语音、文本等更多样化的模态，我们甚至可以看到支持4K、8K模式的高清化人像生成。但同时我们必须认识到，任何新技术都可能是一把双刃剑，必须进行合理的使用，否则就将不可避免地产生风险。凌力表示，深度合成技术的发展速度越快，融入现实生活的程度越深，就越可能侵犯到个人隐私、威胁到社会信息系统安全。目前，我国的监管部门已经充分认识到了这一点，并已经开始采取针对性的措施。但仅仅靠法律法规上的硬性约束是不够的，还可以尝试从科技创新、增强防范意识等多个渠道综合进行应对。比如，目前已有部门或企业综合运用3D立体检测、红外检测等新技术来进行信息核验，实践证明，可以有效地避免单一使用人脸识别技术带来的风险。

（看看新闻Knews记者：金梅阮丽陈昱卉）

本页网址：https://www.xinzhibang.net/article_detail-19768.html

寻求报道，请

关键词

分享至微信：

相关工具

Designs.ai

AI设计工具

Alpaca

将生成式AI集成到Photoshop图像设计中

Uizard

AI网页、App和UI设计

Poly

AI生成3D材质

Huemint

AI调色生成工具

MasterGo AI

国产产品设计工具MasterGo推出的智能UI设计助手

医疗IT面临挑战，赛灵思自适应计算加速平台解决方案引领行业发展

医疗IT面临挑战，赛灵思自适应计算加速平台解决方案引领行业发展科技升级，重金引入，医疗信息化进程在2020年迎来了一个前所未有的高潮。IDC预测，中国医疗行业IT总支出548亿，增长11.5%，预计到2024年将超过1000亿，年均复合增长率超过13%。长期以来，随着医疗设备的升级，医疗对放射学、病

分类标签医疗IT赛灵思自适应计算加速平台

12-05 16:13

四个常见的XR原型设计工具分享

四个常见的XR原型设计工具分享随着XR技术的不断发展，XR产品经理需要使用专门的工具来进行空间交互设计。本文分享了四个常见的XR原型设计工具：Beze、ShapesXR、Spline、GravitySketch3D。为什么XR设计需要专门的工具XR设计与传统的2D设计流程不同，需要使用独特的方法来探

分类标签 XR原型设计工具空间交互设计

12-05 16:12

AI与效果图行业：开启新的视觉时代

AI与效果图行业：开启新的视觉时代随着人工智能(AI)技术的快速发展，它已经在许多行业中找到了应用，其中效果图行业尤为引人注目。效果图是建筑设计和工程领域中非常重要的工具，它能够以直观的方式呈现设计理念和成果，而AI的应用正在改变效果图行业的生产方式、管理方式和创新方式。AI在效果图生成方面展现出了

分类标签人工智能效果图深度学习

12-05 16:11

如何为AI产品设计用户体验？

如何为AI产品设计用户体验？最近有一个思考：AI时代，手机交互由于有很多范式，很可能被AI取代；但同时，随着科技的发展还会有许多新的产品出现，例如：AR、VR、AI助手，这些产品本身也需要交互设计。今天就跟大家分享Medium上关于如何为AI产品设计用户体验的文章。以下为译文：随着AI（人工智能）的

分类标签 AI产品用户体验设计交互设计

11-18 04:20

新的AI技术可以制作出假视频，Deepfake技术越来越逼真

新的AI技术可以制作出假视频，Deepfake技术越来越逼真如果你四肢非常不协调，但又希望有个机会跳出一段动感的舞蹈，有什么办法可以实现这个愿望？最新的AI技术或许能祝你一臂之力。而且，只需要提供一张全身照片，你就可以成为下一代舞王了。据Futurism报道，最近英伟达的研究团队在一篇论文里公布了他

分类标签 AI技术假视频Deepfake

11-12 10:01

AI换声技术引热议：应用边界亟待明确，侵权、诈骗等隐忧不容忽视

AI换声技术引热议多个国内外明星被AI(人工智能)换声的视频近日在网络上爆火，再次引发公众对AI技术的热议。无论是AI换声还是换脸，新技术的使用边界亟待明确，其背后的侵权、诈骗等隐忧更不容忽视。AI换声技术原理无论声音还是图像，都可以通过特定的数学变换分解成若干个特征向量，对每个向量赋予特定的一组参

分类标签 AI换声侵权诈骗

11-10 16:30

NVIDIA LaunchPad计划扩大全球覆盖区域，提供AI测试和原型设计

NVIDIA LaunchPad计划扩大全球覆盖区域，提供AI测试和原型设计NVIDIA宣布扩大NVIDIA LaunchPad计划在全球的覆盖区域。该计划可即时访问运行在加速过的基础设施上的优化软件，从而通过一组经过甄选的样例实验对数据科学和AI工作负载进行原型设计和测试。LaunchPad主要提

分类标签 NVIDIALaunchPad计划AI工作流数据科学

11-08 08:52

虚拟数字人的分类及应用场景

虚拟数字人的分类及应用场景随着时代的进展，科技的发展速度也是越来越快。而虚拟数字人这一概念的最早起源是来自于1989年的美国提出的一个可视人计划，在2001年的时候国内也提出了AI虚拟人体这个概念，刚开始的数字人主要应用于一些医疗领域的教学和诊疗。数字人的发展到今天它的分类也越来越多，不再只是简单的

分类标签虚拟数字人AI技术数字人应用

11-05 22:20

AI数字人生成工具DreamAvatar正式上线，为影视行业带来革命性变革

近日，美图公司旗下AI数字人生成工具DreamAvatar正式上线，首期推出“AI演员”数字人服务。DreamAvatar以AI驱动为核心，旨在服务于视频内容创作、影视处理与剪辑等生产力场景。这一新产品的推出，将为影视行业带来巨大的变革与创新。传统影视制作过程中，演员的选择与拍摄是一个繁琐且耗时的过

分类标签 AI演员数字人服务影视行业

11-05 22:19

英伟达推出用于企业的即时AI基础设施AILaunchPad和托管型边缘AI服务平台FleetCommand

背景当今时代，AI无处不在，对于企业来说更是如此。企业有时想要在混合云业务中加入AI功能，有时又想要发挥边缘计算的效用，但自身AI基础设施无法提供支持怎么办呢？近年来，AI和物联网的落地与融合推动人类社会进入万物智能互联时代，随之产生的数据也将呈井喷式爆发。云计算成功地缓解了日益增长的数据所带来的存

分类标签英伟达AI企业基础设施边缘计算混合云

10-22 10:06

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway