VoiceConversion技术探索与实践

新知榜官方账号

2023-06-29 19:12:42

VoiceConversion技术探索与实践

什么是VoiceConversion（VC）？它可以将一个人的声音转换为另一个音色，但表述的内容没有改变。脑补了一下，这个技术可以给用户带来非常多有乐趣的体验。

VC的目标是转化语音中的非语言信息，与此同时保留语音中的语言信息的技术。此处首先明确语言信息的概念，语言信息就是大家说话里面所包括的文本内容，非语言信息是除文本内容之外的信息，例如说话人的音色，说话的方式，说话的节奏等。这一技术主要是为了实现以下两个目标：首先把输入音频的音色变成指定目标人的音色，然后将说话方式改变成指定目标人的说法方式。这一技术主要有以下应用场景，第一个是在医学上的应用，主要用来帮助丧失发言器官的人，这是因为医学界会进行舌头或是喉管等器官的切除手术，手术后病人说话的声音就不是很清晰，手术造成病人的发言器官不完善，发音不标准，所以需要设备为病人做声音的转换，让病人发音更清楚。第二个情况是希望通过应用这项技术给用户更多的娱乐可能，比如用户用更加搞笑的声音来拍小视频，这些声音我们可以利用某些特色的声音来做，从而让用户自己的视频更有趣，吸引大家的关注。

VC的进展以VC主要的三种应用方式进行说明，而这三种方式都通过模型来实现。一种是onetoone，也就是将一个人的音色转成另外一种方式，这是模型的限制所造成的。第二种是manytoone，将很多人的声音转成特定人的声音。最后一种是manytomany，任何人的声音都可以转成某一个指定人的声音，这一方式对模型上没有任何限制。

从VC的发展历史情况来说，研究方向最开始是从平行语料开展的。平行语料指语音内容里说的是相同的内容，比如A和B录的语音里面都有“我是中国人”这句话，非平行语料则是指语料A说的内容和B说的内容没有关系。从历史上来看，平行语料研究的时间比较早，其相对而言携带的信息更多，比较简单，但是平行语料有一个很大的问题——在实际应用中，我们不可能要求用户说这么多相同的内容，这不太现实，所以这方面的应用都需要做非平行语料。

从功能上来说，VC跟TTS是存在区别的，一个是语音转语音，一个是文本转语音。目前，TTS也在探索更富表现力的合成方法，部分方法也使用参考音频作为输入，在一点上来看，VC和TTS又有着一些共同之处。

未来，我们计划用非平行语料来尝试VC，从而尽可能降低对VC使用者的限制。但在做VC的时候，要尽可能保留原语音中丰富的韵律信息，这时我们发现正常说话时的转换效果还可以，但当我们在做清唱或者朗诵时效果就不理想，唱歌所转换出来的可能是正常说话，唱歌的方式并没有保留。除此之外，我们要剔除各类噪声的干扰，我们尝试做了些数据增强的方法，旨在降低噪声干扰。

以上是对VoiceConversion技术的探索与实践的介绍。

本页网址：https://www.xinzhibang.net/article_detail-2861.html

寻求报道，请

关键词

VoiceConversion VC 变声多种应用场景

分享至微信：

相关工具

TME Studio

腾讯音乐推出的智能音乐创作助手

BeatBot

输入文本提示快速生成歌曲和音乐

Lemonaid

AI音乐生成工具

Beatoven.ai

免版税AI音乐创建平台

Murf AI

AI文本转语音生成工具

Typecast

在线AI文字转语音生成工具

中国式浪漫

中国式浪漫中国式的浪漫有着独特的韵味，充满了婉约而华贵的情感。从古至今，我们常常可以看到一些文艺作品中描绘的恋人们穿越古代的长廊，相互倾诉着深情而含蓄的爱意。这种浪漫，不单单是一种场景的表达，更多的是一种文化的传承。第一章：东方之美，婉约而华贵的爱在现代社会中，中国式的浪漫依然得以体现。例如，现代新

分类标签中国式浪漫东方之美传统与现代的碰撞

12-07 22:30

变声器电脑版哪个好用？主播同款变声器~

变声专家介绍随着吃鸡游戏大火，各路主播纷纷借助吃鸡游戏蹭热度，其中最火热的就是主播们使用变声器将男声变成女声来整蛊队友，这也让不少人在网上寻找好用且可以在吃鸡游戏里使用的变声器，那到底哪个变声器电脑版好用呢？感兴趣的小伙伴可以动动小手指接着往下滑动看看啦~~变声专家基本情况变声专家是海外软件AVVo

分类标签变声器电脑版主播变声器吃鸡游戏

11-29 16:59

人工智能“闻声识相”：如何通过声音识别人脸？

人工智能“闻声识相”：如何通过声音识别人脸？人工智能近年来发展迅速，其中“闻声识相”技术备受关注。该技术通过深度学习和跨模态检索技术，将人脸图像和语音音频片段分别输入人脸编码器网络和语音编码器网络，根据身份的平均损失为提取的特征值分配不同的权重，并过滤掉个性化样本，然后使用两级模态匹配更新神经网络参

分类标签人工智能算力算法数据闻声识相声音识别

11-29 16:58

八款AI智能软件，让你的工作效率倍增！

八款AI智能软件，让你的工作效率倍增！大家好！我叫阿志，做自媒体已有三年之久也做出了理想的成绩。今天我就分享我在用的八款AI智能软件，大部分是免费的哦。1. ChatGPTChatGPT是一款聊天机器人，不仅可以像人类一样聊天交流，还可以写邮件、写论文、写视频脚本，翻译、敲代码等，能够帮助我们提高工

分类标签 AI智能软件工作效率自媒体

11-28 08:43

StabilityAI推出StableAudio，用于AI制作音频生成工具

StabilityAI推出StableAudio，用于AI制作音频生成工具StabilityAI是一家专注于开源AI模型的创业公司，其旗下的StableDiffusion是如今最好的图片生成AI之一（另一个是midjourney）。最近，StabilityAI又推出了StableAudio，这是一款

分类标签 StabilityAIStableAudioAI制作音频潜在扩散模型

11-20 22:15

VoiceChanger「变声器」——让你的声音变得与众不同

VoiceChanger「变声器」是一款充满趣味性的手机应用程序，它提供了丰富多样的变声效果选择，只需轻点一下，你就可以轻松变换声音。从小萝莉到御姐音，再到神秘的幽灵和酷炫的机器人，只要你敢尝试，你的声音就可以变得与众不同。而且，它的界面设计独具匠心，简单又有趣，让变声过程变得更加乐趣无穷。除了给声

分类标签 VoiceChanger变声器语音编辑器

11-19 16:23

市面上那么多AI变声器到底该选哪个？某宝抖音里499、599、699调试变声到底值不值得？

市面上那么多AI变声器市面上的AI变声器其实都是同一个人制作的，只是换了不同的外观和声音模型。这个人制作的变声器是开源的，所以市面上出现了很多不同的变声器软件，它们的声音模型有免费的也有收费的。至于那些贵的离谱的收费模型，如果你有钱，可以购买，但如果你想免费使用，也有温柔御姐、俏皮萝莉等各种声音模型

分类标签 AI变声器某宝抖音调试变声

11-19 16:22

实时变音神器：入梦Ai变声器使用体验指南

实时变音神器：入梦Ai变声器使用体验指南入梦Ai变声器是一款实用的实时变音软件，能帮助用户轻松实现各种声音效果。该软件能够在录音、直播、游戏语音中实时变换声音，为用户提供更多声音选择。本文旨在让读者了解此类工具的存在，以防上当受骗，并非教导如何利用变声器欺骗他人。体验与使用运行入梦Ai变声器.exe

分类标签实时变音软件入梦AI变声器声音选择

11-19 16:21

大饼AI变声：声音创造的无限乐园

大饼AI变声：声音创造的无限乐园声音不再局限于自然的音色，而是成为一种可以塑造、创造的艺术。大饼AI变声作为一款免费的AI实时变声工具，为用户带来了前所未有的声音体验。大饼AI变声以其千种音色和自然的人声效果而备受瞩目。用户可以选择多样化的音色，实现从幽默搞笑到庄重神秘的无限可能性。这款工具支持全场

分类标签大饼AI变声声音体验音色转换

11-19 16:19

AI+公开课已经有团队开始用AI训练人了！

AI+公开课已经有团队开始用AI训练人了！近年来，随着人工智能技术的不断发展，越来越多的公司开始尝试用AI训练人。据悉，AI+公开课团队已经开始了这项尝试，并取得了一定的成果。AI训练人的意义在于，通过让机器学习人类的行为模式和思维方式，从而让机器更好地服务于人类。这项技术的应用前景非常广阔，尤其是

分类标签 AI训练人张佳

11-16 08:01