使用飞桨深度学习框架生成2D数字人的实现步骤

新知榜官方账号

2023-11-16 08:55:16

使用飞桨深度学习框架生成2D数字人的实现步骤

本篇学习记录的时间为：2023年8月17号。本篇不涉及什么具体深度学习的内容，就纯粹的使用。基于百度开源的飞桨深度学习框架，弄了一个2D数字人。虽效果不怎么好，但也算实现了吧。效果如下：

详细实现步骤如下：

步骤1:环境搭建

我的电脑没有nvidia的gpu，虽然也能跑起来，但运行时间实在是慢。因此自己的电脑如果没有nvidia的gpu的话，建议选择百度飞桨平台的aistudio来操作，每天好像有几小时的免费算力使用。我这里的运行环境选择的是V10032G的配置，运行之后的界面如下：

运行之后，选择终端，就可以进行环境检查了：

//环境检测
//python版本检测
python -V
//python的一些依赖环境检查，你会发现paddlepaddle-gpu，paddlehub都已经安装好了
pip list

如何遇到如下问题，就要小心了，后面pip怎么安装都报错，尴尬的是，怎么重装/升级pip都没解决，最后选择的是重新开启一个aistudio：

WARNING: There was an error checking the latest version of pip.

环境检查没有问题后，就可以安装依赖了：

//安装表情迁移模块
hub install first_order_motion
//安装文本转语音模块，默认是女声的
hub install fastspeech2_baker
//安装依赖的过程中，可能还会遇到typeguard相关的错误，这里我选择降低版本解决的
pip install typeguard==2.13.3
//重装fastspeech2_baker
hub install fastspeech2_baker
//安装唇形合成模块
hub install wav2lip

步骤2:素材准备

准备一个2d的人脸头像和一个主持人口播视频。2d的人脸头像，个人是使用百度文言一心弄出来的图片。口播视频是网上找的主持人口播视频。也可以运行我在aistudio创建的项目，去获取素材。项目地址：https://aistudio.baidu.com/projectdetail/6653308

步骤3:视频人物面部表情迁移

#视频人物面部表情迁移
import paddlehub as hub

motion = hub.Module(name='first_order_motion')
motion.generate(source_image='dataset/test.png', #输入图像
driving_video='dataset/video.mp4', #输入驱动视频
ratio=0.4,
image_size=256,
output_dir='./output/', #输出文件夹
filename='FOM.mp4', #输出文件名
use_gpu=True)

步骤4:文本转语音

#文本转语音
import paddlehub as hub

sentences=['看我的摩托，看我的摩托，看我的摩托，看我的摩托，哒哒哒。'] #输入说话内容
tts = hub.Module(name='fastspeech2_baker', version='1.0.0')
wav_files = tts.generate(sentences)
print(f'声音已生成，音频文件输出在{wav_files}')

步骤5:唇形合成

#唇形合成-把你生成的语音与视频的唇形合成
import paddlehub as hub

w2f = hub.Module(name='wav2lip')
w2f.wav2lip_transfer(face='output/FOM.mp4', audio='wavs/1.wav', output_dir='./output/', use_gpu=True)

本页网址：https://www.xinzhibang.net/article_detail-20176.html

寻求报道，请

关键词

分享至微信：

相关工具

奇妙元

AI数字人视频生成平台，由出门问问推出

D-ID

AI真人口播视频生成工具

万兴播爆

万兴科技推出的AI数字人口播视频营销工具

Kaiber

图片文字转视频的AI引擎

Lumen5

AI将博客文章转换成视频

Wonder Studio

AI自动为CG角色制作动画、打光并将其合成到真人场景中

利用AI工具帮助制作短视频的方法

现在各短视频渠道的用户数量众多，已经成为流量聚集地，想要制作视频对新手来说确实会有一些些复杂，对大多数用户来说运用AI制作短视频是一个不错的选择！确定视频的主题：其实主要就是你想要在视频中传达什么信息。编写视频脚本：根据上一步的主题内容编写视频脚本。筹备拍摄：确定视频拍摄的时间、地点、人物、道具等。

分类标签短视频AI工具视频制作

12-07 02:07

D-ID：人脸去识别化技术服务

D-ID：人脸去识别化技术服务D-ID全称de-identification，主要是人脸去识别化技术服务。简单点讲，短视频中，可以创造一个虚拟化讲解员，在视频中代替真人出镜，介绍视频内容。这是一家以色列的创新公司，创始人兼CEO是GilPerry，这种技术探索和应用仍处于早期阶段，其核心亮点是对隐私

分类标签 D-ID人脸去识别化虚拟化讲解员

12-04 08:35

分享8款AI智能软件，提高工作效率解决日常问题

分享8款AI智能软件，提高工作效率解决日常问题阿志是一位自媒体人，分享了他在用的8款AI智能软件。第一款是ChatGPT，它是一款聊天机器人，可以像人类一样聊天交流，还可以写邮件、写论文、写视频脚本，翻译、敲代码等，可以帮助我们提高工作效率，解决各种日常问题。第二款是NotionAi，它是一款强大的

分类标签 AI智能软件自媒体工作效率

11-28 08:50

如何使用DupDub免费制作专业的数字人视频

背景介绍以D-ID、HeyGen为代表的数字人视频制作网站，虽然可以帮助内容创作者制作完美的形象和专业的配音，不过此类网站的免费额度有限，输出的视频还会带有水印！今天馆长为大家介绍一个全能的在线视频剪辑平台DupDub！可以作为D-ID的替代，帮你免费制作专业的数字人视频。DupDub的功能介绍作为

分类标签 DupDub数字人视频制作免费

11-22 02:22

如何生成一个根据自己形象特别制作的数字人？

如何生成一个根据自己形象特别制作的数字人？近日，记者直击“打工替身”生成现场，借助百度智能云曦灵，原来“自己造自己”只需要以下三步：上传自己的照片或者视频，选择性别和年龄段。根据自己的面部特征，选择相应的脸部轮廓和五官，进行微调。生成数字人，可用于个性化表情包、虚拟形象等多种场景。相比传统的制作方法

分类标签数字人百度智能云曦灵

11-20 08:46

AI佛祖带着ChatGPT的智慧普渡众生

背景这届年轻人和玄学走得很近。当虔诚的佛教信徒还在念经吃斋打坐，互联网潮人们已经开始敲电子木鱼积累功德了。电子木鱼用户量早已超过500万大关，而在前不久，日本一个名为HOTOKEAI的网站迅速走红，原因也是因为是运用了ChatGPT创造出AI佛祖，搞了一出赛博玄学。进到HOTOKEAI网站后，用户可

分类标签 AI佛祖ChatGPTHOTOKEAI

11-20 08:45

数字人如何开口说话？从场景变化到无场景变化，教你一步步实现

数字人如何开口说话？从场景变化到无场景变化，教你一步步实现在上一期文章中，我们介绍了如何用AI技术创建属于自己的数字人。一是数字人形象定位，二是创作目标形象的提示词（prompt），三是利用“文字生成图片”功能生成目标形象，四是让创建好的数字人开口说话。因为篇幅关系，上期只介绍了前三步，本期咱们接着

分类标签数字人AI技术视频编辑语音合成StableDiffusion剪映

11-20 08:38

首届全球数字贸易博览会在杭州开幕

首届全球数字贸易博览会在杭州开幕12月11日，首届全球数字贸易博览会（以下简称“数贸会”）在杭州开幕。数贸会吸引了来自全球的数字贸易企业和专业人士参加。其中，位于3C07展位的四川数字贸易主题馆，创新引入三星堆文化元素，巧妙融入了大熊猫、自贡彩灯等四川元素，呈现“古蜀先人以‘纵目’探求世界，今日川人

分类标签数字贸易博览会四川主题馆数字经济跨境电商人工智能全息数字人

11-16 10:02

数字人在新时代的应用

数字人在体育赛事中的应用首届全国学生（青年）运动会将于11月在广西举办。广西旅游发展集团推出了“刘三姐数字人”全新运动形象，以协助推广首届学青会。本届学青会，“刘三姐数字人”将以全新运动形象亮相，带领观众突破次元壁，解锁虚实结合的全新观赛体验，展现出壮美广西的文体魅力与前沿科技力量。数字人在电商平台

分类标签数字人虚拟形象元宇宙

11-16 10:01

虚拟人产业走向：资本热捧、技术挑战、未来展望

虚拟人产业走向：资本热捧、技术挑战、未来展望虚拟人产业已经成为资本下注的新目标。公开数据显示，截至今年9月，国内虚拟数字人赛道投融资金额已超过去年，达到24.9亿元。2021年虚拟数字人相关企业投融资金额约为19.71亿元，而在2015年这一统计数字仅为0.33亿元，6年间复合增长率达到97.71

分类标签虚拟人产业资本技术未来展望

11-16 10:00