新知榜官方账号
2023-11-25 16:31:17
六一儿童节这天,腾讯AI“艾灵”正式宣布出道。AI“艾灵”诞生自腾讯AILab的实验探索性技术项目——AI数字人。该项目的目标是计算机视觉、语音/歌声合成和转换、图像/视频合成和迁移、自然语言理解等多模态AI能力融合,生成可交互内容,并打造出拟人度较高的智能数字人。
艾灵与王俊凯共同创作歌曲《点亮》,该新歌与众不同的地方是,在H5界面,用户仅需选取几个关键词,艾灵就能基于此创作歌词并完成演唱。艾灵能与王俊凯一同创造歌曲,则主要依托了AILab两项最新研究成果:DurIAN个性化歌声合成和歌词创作模型SongNet。艾灵可依据选取关键词作词演唱DurIAN声学模型,让AI学会人类歌唱技巧。
基于DurIAN声学模型,艾灵的歌声合成要经过以下三个步骤:首先,研究者以音素为基本发音单元将任意歌曲描述为一连串音素的序列;然后通过分析歌谱,从文字、旋律、节奏等多个维度分别提取和预测词曲中每个音素的发音、时长、停顿、音高、风格和演唱技巧等特征;最后使用由真人(中国网络声优龟娘)演唱的歌声训练得到的深度神经网络声学模型和声码器模型,合成出与真人声线高度相似歌声音频。
SongNet模型最大的特点是可以给定任意格式和模板来生成相契合的文本。通过局部和全局两种注意力机制达到了对上下文语义和格式同时建模的目的。SongNet模型框架还采用了类似于BERT和GPT的预训练和微调范式,通过在大规模文本语料的预训练和歌词语料的微调过程,可以进一步提升模型生成歌词的质量。
腾讯AILab表示,AI歌声合成技术可以用于降低歌曲制作过程中录音环节的成本,更可以用于打造虚拟偶像,成为广大专业和社区音乐人的制作工具。除了AI歌声合成技术之外,腾讯AILab还在研究数据量极小和录音质量差条件下的歌声合成。
未来艾灵还能借助腾讯AILab研发的王者荣耀游戏解说生成模型来生成游戏解说词,再通过语音合成实时生成生动活泼的解说。
相关工具
相关文章
推荐
用Deepseek写AI绘图提示词,像呼吸一样简单!
2025-02-19 16:12
你以为AI绘画是黑科技?其实早成了“路边摊生意”!
2025-02-19 10:15
Flux爆火,全网最全面最详细的Flux使用教程!
2025-02-18 14:19
用AI如何创作音乐,实战教学来啦!
2025-02-17 17:23
MidJourney让你秒变绘画大神,从零开始画哪吒!
2025-02-17 14:56
AI应用新境界:让人工智能成为你的得力助手
2025-02-14 15:45
AI短片革命:当创作遇上智能,人人都能成为导演
2025-02-14 14:53
AI狂潮下的人类职场:是失业危机还是进化契机?
2025-02-13 16:53
开启影视创作新纪元,效率提升 10 倍的神器来了!
2025-02-13 15:11
深度解析DeepSeek:当AI技术照进创作产业的未来
2025-02-12 17:16