新知榜官方账号
2023-11-17 22:19:14
StabilityAI推出了一款音乐生成工具StableAudio,它采用了“潜在扩散模型”,用户只需要输入关键词,就可以一键生成音频。StableAudio可以生成长达90秒的音乐,而其他模型通常只能生成几秒钟的音频片段。这一创新是通过潜在扩散技术实现的,StableAudio的模型可以逐渐减少噪音,从而使音乐更加连贯,符合用户的要求。
用户只需要输入关键词,通常包含乐器名称、风格、情境、甚至节拍数,就可以一键生成音频。例如,如果你想听一段钢琴独奏曲,输入:PianoSolo,PolishSituation,Inspiring,112BPM,大约在10秒之后,你将听到这样的一段45秒的音乐。StableAudio还提供免费试用机会,用户可以在不支付费用的情况下,可以生成20条音频,每条音频的时间不超过45秒。
为了训练这款模型,Stability与音乐提供商AudioSparx合作,在超过800000个音频文件的数据集上进行了训练,其中包括音乐、音效和单乐器主干,以及相应的文本元数据。在将19500小时的音频输入模型后,StableAudio知道如何模仿它在命令中“听”到的某些声音描述。
在市场上已有多个不同角度的尝试,例如HuggingFace社区里的MusicToImage拥有能将音乐转化为图片的能力,Riffusion可以生成光谱图,谷歌发布的MusicLM可以将文本转化为音乐。StableAudio作为一款“文生音”工具,能够满足使用者对「文生音」的好奇心,并且适合对于音乐创作毫无经验的新手小白去进行创作,但懂音乐乐理和基础知识的玩家会更有优势。
相关工具
相关文章
推荐
幻舟 AI:动画创作领域的革新力量
2024-12-27 16:06
幻舟 AI:开启纪录片创作新征程
2024-12-27 16:03
幻舟 AI:教育短视频创作的得力助手
2024-12-27 15:59
幻舟 AI:影视创作多领域的创新利器
2024-12-27 15:55
幻舟 AI:影视创作多领域的创新利器
2024-12-27 15:51
幻舟 AI:影视创作的变革引擎
2024-12-27 15:45
中国首款3A游戏上线,《黑神话:悟空》出圈!
2024-08-21 13:46
盘点15款AI配音工具,短视频配音有救了!
2024-08-12 17:11
短视频文案没创意?10大AI写作工具来帮你!
2024-08-05 16:23
Midjourney发布V6.1版本,我已分不清AI和现实了!
2024-08-01 15:03