著名大模型开源平台Stability AI发布音频生成模型Stable Audio 2.0,现在允许用户上传自己的音频样本,然后通过提示转换音频样本并免费创造AI生成的歌曲。
Stable Audio的第一版在2023年9月发布时,仅为一些付费用户提供最多90秒的音频,这意味着用户只能制作短音频片段来实验。而Stable Audio 2.0提供了完整的三分钟音频片段,这个长度的歌曲大多数适合电台播放,而所有上传的音频必须是无版权的。
据了解,与OpenAI的音频生成模型Voice Engine只向一小部分用户开放不同,Stability AI通过其网站免费向公众提供Stable Audio,未来将很快提供API接口。
Stability AI表示,Stable Audio 2.0与其早期版本的一个主要区别在于,它能够创建与真实歌曲相似的歌曲结构,包括有序幕、进展和尾声。
不过,已经试玩Stable Audio 2.0的媒体表示,这个水平的AI歌曲距离帮助用户用音乐表达想法,差距依然比较大。例如,有用户用“带有美国风格的民谣流行歌曲”(美国乡村音乐)作为提示,Stable Audio生成的歌曲在某些部分听起来有山谷清晨的氛围,并且疑似加入了人声。
理论上,Stable Audio 2.0的新功能允许用户调整生成的AI音频作品,使作品更符合用户的听歌风格。例如可以调整遵循提示程度,或设置转换所上传音频的哪一部分,用户还可以添加像人群的吼声或键盘敲击等音效。
然而,这种AI歌曲最大的问题在于,让人感觉毫无灵魂。但这并不令人感到惊讶,因为这和其他大厂的AI音频问题一样。例如,如Meta和Google也一直在尝试AI音频生成,但两家公司都没有公开发布他们的模型,因为他们仍在收集开发者的反馈,来解决AI歌曲无灵魂的问题。
Stability AI在一份新闻稿中说,Stable Audio是在AudioSparx的数据上训练的,后者拥有超过800,000个音频文件的库。
不过,这些音频可能出现版权纠纷。Stability AI表示,作品被纳入AudioSparx的艺术家可以选择退出,以避免他们的作品用于训练模型。其实,使用版权音频训练模型是Stability AI的前音频副总裁Ed Newton-Rex在Stable Audio发布后不久就离开公司的原因之一。对于2.0版本,Stability AI说它与Audible Magic合作,使用其内容识别技术来追踪和阻止版权音频进入平台。
总之,Stable Audio 2.0的确让AI歌曲比之前更像真正的歌曲,但还是没有完全达到这个目标。媒体表示,如果Stable Audio 2.0模型坚持添加某种人声,也许下一个版本的AI音频作品会出现更能令人分辨的语言。