音乐人的“噩梦”?StabilityAI推出音乐生成工具StableAudio

新知榜官方账号

2023-11-17 22:19:14

背景

StabilityAI推出了一款音乐生成工具StableAudio,它采用了“潜在扩散模型”,用户只需要输入关键词,就可以一键生成音频。StableAudio可以生成长达90秒的音乐,而其他模型通常只能生成几秒钟的音频片段。这一创新是通过潜在扩散技术实现的,StableAudio的模型可以逐渐减少噪音,从而使音乐更加连贯,符合用户的要求。

使用方法

用户只需要输入关键词,通常包含乐器名称、风格、情境、甚至节拍数,就可以一键生成音频。例如,如果你想听一段钢琴独奏曲,输入:PianoSolo,PolishSituation,Inspiring,112BPM,大约在10秒之后,你将听到这样的一段45秒的音乐。StableAudio还提供免费试用机会,用户可以在不支付费用的情况下,可以生成20条音频,每条音频的时间不超过45秒。

训练方法

为了训练这款模型,Stability与音乐提供商AudioSparx合作,在超过800000个音频文件的数据集上进行了训练,其中包括音乐、音效和单乐器主干,以及相应的文本元数据。在将19500小时的音频输入模型后,StableAudio知道如何模仿它在命令中“听”到的某些声音描述。

市场

在市场上已有多个不同角度的尝试,例如HuggingFace社区里的MusicToImage拥有能将音乐转化为图片的能力,Riffusion可以生成光谱图,谷歌发布的MusicLM可以将文本转化为音乐。StableAudio作为一款“文生音”工具,能够满足使用者对「文生音」的好奇心,并且适合对于音乐创作毫无经验的新手小白去进行创作,但懂音乐乐理和基础知识的玩家会更有优势。

本页网址:https://www.xinzhibang.net/article_detail-20349.html

寻求报道,请 点击这里 微信扫码咨询

关键词

StabilityAI StableAudio 音乐生成工具

分享至微信: 微信扫码阅读

相关工具

相关文章