知名人工智能公司 Stability AI 近日正式发布了其最新一代音频大模型Stable Audio3,并同步开源了部分模型权重。作为一款专为音频生成与编辑设计的潜扩散模型,该系统不仅支持高品质的双声道立体声输出,更在生成速度上实现了质的飞跃。
本次发布的模型家族涵盖了从小到大多种规格,能够满足音乐创作和音效制作等多元化需求。值得一提的是,该模型支持可变长度的音频生成,并引入了基于内补成像技术的音频编辑功能,为创作者提供了前所未有的灵活性。

创新架构打破硬件限制
Stable Audio3在架构上由两大核心组件构成:一个被称为 SAME 的语义声学自编码器,以及一个高效的扩散变换器。其中,SAME 自编码器实现了高达4096倍的音频压缩率,这一突破性设计大幅缩短了潜在序列的长度。
得益于这一高效的压缩机制,即使是在普通的消费级硬件上,该模型也能够流畅地运行长周期、大篇幅的音频生成任务。这不仅显著降低了高品质音频创作的技术门槛,也让个人创作者在家中开展专业级音视频制作成为可能。

超高效率实现即时渲染
在 variable-length 技术的加持下,新模型的计算成本能够随着用户要求的音频时长动态缩放,彻底告别了以往固定长度带来的算力浪费。在高性能硬件的测试中,该模型仅需约0.62秒便可渲染出一段20秒的音频,而生成长达380秒的音乐也仅需1.31秒。
此外,通过创新的三阶段训练流程,Stable Audio3在推理阶段不再依赖传统的无分类器指导技术,从而实现了单步前向传播的极速体验。目前,面向大众开放的小型和中型模型权重已在 Hugging Face 平台上线,而性能更强悍的大型版本则将通过商业授权形式提供。
.png)
发评论,每天都得现金奖励!超多礼品等你来拿
登录 在评论区留言并审核通过后,即可获得现金奖励,奖励规则可见: 查看奖励规则