腾讯AI数字人“艾灵”宣布出道,能与王俊凯共同创作歌曲

新知榜官方账号

2023-11-25 16:31:17

背景

六一儿童节这天,腾讯AI“艾灵”正式宣布出道。AI“艾灵”诞生自腾讯AILab的实验探索性技术项目——AI数字人。该项目的目标是计算机视觉、语音/歌声合成和转换、图像/视频合成和迁移、自然语言理解等多模态AI能力融合,生成可交互内容,并打造出拟人度较高的智能数字人。

合作内容

艾灵与王俊凯共同创作歌曲《点亮》,该新歌与众不同的地方是,在H5界面,用户仅需选取几个关键词,艾灵就能基于此创作歌词并完成演唱。艾灵能与王俊凯一同创造歌曲,则主要依托了AILab两项最新研究成果:DurIAN个性化歌声合成和歌词创作模型SongNet。艾灵可依据选取关键词作词演唱DurIAN声学模型,让AI学会人类歌唱技巧。

技术实现

基于DurIAN声学模型,艾灵的歌声合成要经过以下三个步骤:首先,研究者以音素为基本发音单元将任意歌曲描述为一连串音素的序列;然后通过分析歌谱,从文字、旋律、节奏等多个维度分别提取和预测词曲中每个音素的发音、时长、停顿、音高、风格和演唱技巧等特征;最后使用由真人(中国网络声优龟娘)演唱的歌声训练得到的深度神经网络声学模型和声码器模型,合成出与真人声线高度相似歌声音频。

SongNet模型最大的特点是可以给定任意格式和模板来生成相契合的文本。通过局部和全局两种注意力机制达到了对上下文语义和格式同时建模的目的。SongNet模型框架还采用了类似于BERT和GPT的预训练和微调范式,通过在大规模文本语料的预训练和歌词语料的微调过程,可以进一步提升模型生成歌词的质量。

应用前景

腾讯AILab表示,AI歌声合成技术可以用于降低歌曲制作过程中录音环节的成本,更可以用于打造虚拟偶像,成为广大专业和社区音乐人的制作工具。除了AI歌声合成技术之外,腾讯AILab还在研究数据量极小和录音质量差条件下的歌声合成。

未来艾灵还能借助腾讯AILab研发的王者荣耀游戏解说生成模型来生成游戏解说词,再通过语音合成实时生成生动活泼的解说。

本页网址:https://www.xinzhibang.net/article_detail-21091.html

寻求报道,请 点击这里 微信扫码咨询

关键词

腾讯 AI数字人 艾灵 王俊凯 歌曲 AI歌声合成技术

分享至微信: 微信扫码阅读

相关工具

相关文章