新知榜官方账号
2023-11-25 16:31:17
六一儿童节这天,腾讯AI“艾灵”正式宣布出道。AI“艾灵”诞生自腾讯AILab的实验探索性技术项目——AI数字人。该项目的目标是计算机视觉、语音/歌声合成和转换、图像/视频合成和迁移、自然语言理解等多模态AI能力融合,生成可交互内容,并打造出拟人度较高的智能数字人。
艾灵与王俊凯共同创作歌曲《点亮》,该新歌与众不同的地方是,在H5界面,用户仅需选取几个关键词,艾灵就能基于此创作歌词并完成演唱。艾灵能与王俊凯一同创造歌曲,则主要依托了AILab两项最新研究成果:DurIAN个性化歌声合成和歌词创作模型SongNet。艾灵可依据选取关键词作词演唱DurIAN声学模型,让AI学会人类歌唱技巧。
基于DurIAN声学模型,艾灵的歌声合成要经过以下三个步骤:首先,研究者以音素为基本发音单元将任意歌曲描述为一连串音素的序列;然后通过分析歌谱,从文字、旋律、节奏等多个维度分别提取和预测词曲中每个音素的发音、时长、停顿、音高、风格和演唱技巧等特征;最后使用由真人(中国网络声优龟娘)演唱的歌声训练得到的深度神经网络声学模型和声码器模型,合成出与真人声线高度相似歌声音频。
SongNet模型最大的特点是可以给定任意格式和模板来生成相契合的文本。通过局部和全局两种注意力机制达到了对上下文语义和格式同时建模的目的。SongNet模型框架还采用了类似于BERT和GPT的预训练和微调范式,通过在大规模文本语料的预训练和歌词语料的微调过程,可以进一步提升模型生成歌词的质量。
腾讯AILab表示,AI歌声合成技术可以用于降低歌曲制作过程中录音环节的成本,更可以用于打造虚拟偶像,成为广大专业和社区音乐人的制作工具。除了AI歌声合成技术之外,腾讯AILab还在研究数据量极小和录音质量差条件下的歌声合成。
未来艾灵还能借助腾讯AILab研发的王者荣耀游戏解说生成模型来生成游戏解说词,再通过语音合成实时生成生动活泼的解说。
相关工具
相关文章
推荐
阿里Accio中文版上线!一键搞定复杂采购
2025-08-19 09:13
视频“用嘴编辑”的时代来了,但钱包顶得住吗?
2025-08-15 17:59
智谱新模型GLM-4.5V全面开源,玩家们有福啦!
2025-08-12 17:56
扎心文案+AI插画=爆款!揭秘8万赞视频的制作全流程
2025-08-12 10:08
GPT-5没你想的那么好,附实测体验~
2025-08-11 11:07
一站式搞定AI绘图+视频,AI短片效率飙升的秘密在这儿!
2025-08-08 09:26
打工人新神器!10款国产AI,让你告别996!
2025-08-08 09:24
豆包视觉推理深度体验,AI也能“边看边想”了!
2025-08-08 09:19
300美元的AI男友来了!马斯克的情感生意从女友做到男友
2025-08-01 17:56
Agent智能体:2025年企业新员工,月薪仅需一度电?
2025-07-30 17:49