Stable Audio 是 Stability AI 推出的音频生成模型系列，自2023年首次发布以来，已从基础的文本到音频生成工具演进为覆盖音乐创作、音效生成、音频编辑和端侧部署的完整产品矩阵。其核心差异化在于“完全基于授权数据训练”——训练数据来自 AudioSparx 制作音乐库（806,284条音频）和 Freesound 的 Creative Commons 录音，并经过标签工具过滤以确保不含受版权保护的音乐录音。
从版本谱系来看，Stable Audio 已发展出以下主要版本线：
1.0 奠基系列（2023年9月） ：系列的开山之作，采用潜在扩散模型架构，训练数据来自 AudioSparx 制作音乐库（806,284条音频）和 Freesound 的 Creative Commons 录音，支持基础文本到音频生成能力。1.0、1.1和2.0因与 AudioSparx 的数据协议限制，未开放权重发布。
2.0 升级系列（2024年） ：将单次生成时长扩展至47秒至3分钟，支持文本到音频和音频到音频两种模式。2.0与Stable Audio Open共享相同架构，但Open版本使用T5文本编码器替代CLAP，并训练于不同的数据集。
Stable Audio Open 开源系列：2024年6月开源，1.1B参数，使用T5文本条件，专为音频样本、音效和制作元素设计，而非完整音乐作品。2025年5月，Stability AI与Arm合作开源Stable Audio Open Small，参数量缩减至341M，针对Arm CPU优化，可在智能手机上运行，8秒内生成11秒音频。
2.5 企业级系列（2025年9月10日） ：定位为“首个专为企业级声音制作设计的音频生成模型”，支持生成最长3分钟的音频曲目，在数秒内完成。2.5在生成速度上实现了显著突破——3分钟曲目仅需2秒完成。同年，Stability AI与声音品牌代理机构amp（WPP旗下Landor Group的一部分）建立合作，将2.5通过WPP Open平台提供给企业客户。
3.0 旗舰系列（2026年5月20日） ：当前最新版本，包含四款模型——Small SFX（433M参数，音效生成）、Small（433M参数，音乐生成）、Medium（1.4B参数，高质量音乐）、Large（2.7B参数，最高质量API专用）。3.0引入全新的SAME（语义对齐音乐自编码器）架构，支持可变长度生成，Medium和Large可生成最长6分20秒的完整歌曲。Small和Medium的权重在Hugging Face上开源，Large仅通过API提供。
第二部分：各版本详细对比与拆解
一、核心版本参数对比
维度 Stable Audio Open Stable Audio Open Small Stable Audio 2.5 Stable Audio 3.0 Small Stable Audio 3.0 Medium Stable Audio 3.0 Large
发布时间 2024年6月 2025年5月 2025年9月 2026年5月 2026年5月 2026年5月
参数规模 1.1B 341M 未公开 433M 1.4B 2.7B
最大时长 47秒 11秒 3分钟 2分钟 6分20秒 6分20秒
自编码器 基础 基础 基础 SAME-Small SAME-Large SAME-Large
硬件支持 GPU Arm CPU GPU CPU GPU (CUDA) API only
开源状态 开源 开源 API 开源 开源 API only
核心定位 音效/样本 端侧音效 企业音频 端侧音乐 高质量音乐 最高质量
从 Stable Audio Open 到 Stable Audio 3.0，模型的演进呈现出一条清晰的“端侧化—企业化—全栈化”路径。Open Small将参数量压缩至341M并针对Arm CPU优化，使音频生成能力首次进入智能手机。2.5将生成速度推至极致——3分钟曲目2秒完成，并成为首个专为企业声音品牌设计的产品。3.0则通过SAME自编码器和可变长度生成，在开源权重、生成质量和部署灵活性三个维度实现了系统性突破。
二、Stable Audio 3.0 核心技术拆解
SAME（语义对齐音乐自编码器） 是Stable Audio 3.0最核心的技术创新。SAME将音频投影到一个紧凑的潜在空间，既支持高效的扩散生成，又在潜在表示中鼓励语义结构的形成。这一设计使模型能够在保留音频保真度的同时，让潜在空间中的结构反映音乐的语义特征——旋律、和声、节奏等。
可变长度生成是3.0在实用性上的关键升级。3.0引入了一种新的可变长度音频生成方法，支持按秒粒度精确控制生成长度，最长可达6分20秒。这一能力避免了“生成短音效却产出完整曲目”的算力浪费，同时解决了长音频生成中结构连贯性的挑战。
音频修补与续写是3.0在编辑能力上的突破。模型支持inpainting操作，可以对音频的特定片段进行针对性编辑，或从一段简短录音出发进行续写。这一能力使Stable Audio从“生成工具”升级为“创作工具”——用户可以在已有音频的基础上进行修改和扩展，而非每次从零开始。
对抗性后训练是3.0在效率上的关键优化。模型在训练后运行对抗性后训练，加速推理的同时提高生成质量，在H200 GPU上不到2秒即可生成音频，在MacBook Pro M4上仅需数秒。
三、性能评测数据
在H200 GPU上的性能表现（以Small模型为例）：5秒音频生成仅需0.41秒，30秒音频需0.46秒，120秒音频需0.45秒——生成速度几乎不随时长线性增长。Mac CPU上的性能同样可用：5秒音频0.70秒完成，30秒音频1.72秒，120秒音频5.92秒。
在第三方基准评测中，Stable Audio 2.5在商业API中拥有最低的观察延迟和实时因子（RTF），Lyria 3则拥有最低的API成本。
四、定价体系对比
Stable Audio API运行在Stability Developer Platform的积分计费模型上，1积分 = $0.01。Stable Audio 2.5每次生成收费$0.20（20积分），不论时长。Stable Audio 3.0每次成功生成收费26积分（$0.26）。API会员计划为$20/月，包含6,000积分。企业条款为定制协商。
在许可方面，Stability AI Community License允许年收入低于100万美元的组织免费商用，并拥有输出内容的完全所有权。超过100万美元年收入的组织需获取企业许可，企业许可还提供法律赔偿保障。
第三部分：为什么分这么多版本？
一、从“端侧音效”到“企业级音乐”的场景递进
Stable Audio的版本分化遵循一条清晰的“端侧验证—企业落地—全栈覆盖”递进路径。Open系列解决了“音频生成能否在消费级硬件上运行”的问题，Open Small以341M参数和Arm CPU优化，使手机端音频生成成为现实。2.5解决了“音频生成能否满足企业级声音品牌需求”的问题，以3分钟曲目2秒完成的速度和完全授权训练数据，成为WPP等企业客户的声音品牌制作工具。3.0解决了“音频生成能否覆盖从音效到完整歌曲的全场景”的问题，通过四款模型的分工——Small SFX管音效、Small管端侧音乐、Medium管高质量音乐、Large管最高质量——实现了从秒级音效到6分钟完整歌曲的全覆盖。
二、授权数据训练：核心竞争壁垒
Stable Audio版本分化的底层逻辑根植于其“完全授权数据训练”的差异化定位。2.0及之前的版本因与AudioSparx的数据协议限制，无法开放权重发布。3.0基于完全授权的AudioSparx数据（806,284条音频）和经过过滤的Creative Commons录音，使Stability AI能够将Small和Medium的权重在Hugging Face上开源，同时为企业客户提供法律赔偿保障。这一策略使Stable Audio在开源音频生成领域建立了独特的合规优势——其他开源音乐模型要么限制商业使用，要么承担未经授权音乐训练的法律风险。
三、与UMG和WMG的合作：从“替代”到“共建”
Stable Audio的版本分化还服务于Stability AI与音乐产业的合作战略。2025年底，Stability AI宣布与环球音乐集团（UMG）和华纳音乐集团（WMG）合作，共同开发“下一代专业音乐创作工具”。这一合作的方向并非用AI替代音乐人，而是为专业创作者提供新的创作工具。3.0版本的发布标志着这一合作的初步成果——模型训练数据中并不包含UMG和WMG的音乐库，但双方正在探索如何将授权音乐纳入未来的训练数据。
第四部分：最著名版本——Stable Audio 3.0 Medium 本地部署实战
Stable Audio 3.0 Medium是系列中兼具高质量与本地部署可行性的版本，1.4B参数，支持最长6分20秒的音乐生成，权重在Hugging Face上开源，可通过ComfyUI实现Day-0工作流集成。以下为完整的本地部署步骤。
步骤一：环境准备与硬件规划
硬件配置基准：
推荐配置：NVIDIA GPU，显存8GB及以上（如RTX 3070），CUDA 12.6
最低配置：CPU模式（MacBook Pro M4可运行，生成速度约数秒）
内存：16GB DDR4及以上
存储：预留20GB SSD空间（含模型权重约5GB）
软件环境清单：
操作系统：Ubuntu 22.04 / macOS / Windows（需WSL或Git Bash）
Python 3.10+
PyTorch 2.7.1+，CUDA 12.6
uv（推荐的依赖管理工具）
步骤二：安装ComfyUI并配置Stable Audio 3.0
Stable Audio 3.0已获得ComfyUI Day-0支持。确保ComfyUI版本为v0.22.0或以上。
bash
# 更新ComfyUI到最新版本
cd ComfyUI
git pull
# 通过ComfyUI Manager安装Stable Audio 3.0节点
# 在ComfyUI中打开Manager，搜索“Stable Audio 3”
步骤三：下载模型权重
bash
# 从Hugging Face下载Stable Audio 3.0 Medium权重
huggingface-cli download stabilityai/stable-audio-3-medium \
--local-dir ./models/stable-audio-3-medium
# 模型文件需放置到ComfyUI对应目录
# ComfyUI/models/checkpoints/stable_audio_3_medium.safetensors
Comfy-Org提供了为ComfyUI重新打包的模型文件，文件放置路径为 ComfyUI/models/checkpoints/。
步骤四：加载ComfyUI工作流
bash
python main.py --listen 0.0.0.0 --port 8188
浏览器访问 http://localhost:8188，在左侧导航栏点击 Template → Audio 类别 → 选择 Stable Audio 3.0 模板。核心生成节点为 Stable Audio 3（节点ID：8b66c757-fe2f-4184-91f3-479a19deb565），支持设置生成长度与随机种子。
步骤五：Python原生调用
python
from stable_audio_3 import StableAudioModel
model = StableAudioModel.from_pretrained(
"stabilityai/stable-audio-3-medium"
)
# 文本生成音乐
audio = model.generate(
prompt="90s garage rock instrumental with grunge influence, "
"poppy distorted guitars, frantic drums, tube-distorted bass",
duration=120, # 按秒控制，最长380秒
seed=42
)
audio.save("output.wav")
步骤六：使用音频修补与续写
Stable Audio 3.0支持inpainting操作，可对已有音频的特定片段进行编辑：
python
# 音频续写（从已有音频片段出发）
continued_audio = model.inpaint(
audio="existing_clip.wav",
prompt="Continuing with a warm acoustic guitar solo, "
"building energy towards the chorus",
start_time=5.0, # 从第5秒开始续写
end_time=30.0
)
步骤七：Mac本地部署（Apple Silicon）
bash
# 使用MLX优化运行时（Apple Silicon Metal GPU）
curl -LsSf https://raw.githubusercontent.com/Stability-AI/stable-audio-3/main/optimized/mlx/bootstrap.sh | bash
在MacBook Pro M4上，Medium模型生成5秒音频约需0.60秒，30秒音频约0.65秒。
步骤八：监控与成本优化
关键指标监控：
生成速度：H200上5秒音频0.60秒，Mac CPU上5秒音频0.70秒
显存占用：Medium模型约5.07GB峰值显存
最大时长：380秒（6分20秒）
降本策略：对快速音效原型使用Small SFX（CPU即可运行，无需GPU）；对端侧音乐生成使用Small（支持CPU推理）；对标准音乐创作使用Medium（开源权重本地部署，无API成本）；对最高质量交付使用Large（API调用，26积分/次）。
第五部分：不同版本的实践结果
案例一：WPP声音品牌代理amp合作——企业级声音身份构建（基于Stable Audio 2.5）
Stability AI与WPP旗下声音品牌代理机构amp（Landor Group的一部分）建立合作，将Stable Audio 2.5通过WPP Open平台提供给企业客户。amp利用Stable Audio 2.5为企业品牌创建标志性的声音标识和体验。
实践成效：传统声音品牌制作需要作曲家创作、录音棚录制和后期制作，周期以周计、成本以万计。Stable Audio 2.5使amp能够以“3分钟曲目2秒完成”的速度快速生成多个声音品牌方向，供客户试听和选择。合作的目标是帮助品牌建立“声音身份”——正如视觉标识定义品牌的视觉形象，声音标识定义品牌的听觉形象。这一案例代表了Stable Audio在企业声音品牌场景中的落地价值。
案例二：CODA项目——用AI完成十年前未写完的歌（基于Stable Audio 3.0 Small Music）
开发者在Hugging Face上发布了一个名为CODA的项目，使用Stable Audio 3.0 Small Music（0.6B参数）帮助音乐人完成未完成的歌曲。用户上传一段已有的音频片段，CODA将其放置在缓冲区前端，并掩盖后续区域，模型根据整段片段的上下文进行连贯续写。CODA生成最多5个候选方案，并通过轻量级伪影检测器筛选出最佳结果。
实践成效：这一案例的核心价值在于验证了Stable Audio 3.0的音频inpainting能力在个人音乐创作场景中的实用价值。传统AI音乐生成工具是“从零开始生成”，而CODA的工作流是“从已有的创作出发进行续写”。开发者称之为“我构建了一个AI，来完成我十年前放弃的那首歌”。这一模式使AI成为音乐人的创作伙伴，而非替代者——音乐人提供创作种子，AI帮助完成展开。
案例三：端侧音效生成——手机上的实时音频创作（基于Stable Audio Open Small）
Stability AI与Arm合作，将Stable Audio Open Small（341M参数）优化至Arm CPU运行。开发者可以通过Arm Learning Path获取使用指南，在智能手机上实现文本到音频的实时生成。
实践成效：Stable Audio Open Small是市场上最快的立体声文本到音频模型，在手机上8秒内生成11秒音频。这一能力使音频生成从“云端服务”变为“端侧能力”——用户无需连接网络即可在手机上生成鼓循环、拟音效果、乐器riff和环境纹理。Arm技术覆盖全球99%的智能手机，这一合作使音频生成能力触达数十亿设备。这一案例代表了音频生成技术从“专业工作室工具”向“随身创作能力”的延伸。
案例四：Fragments音频创作平台集成（基于Stable Audio 3.0）
Fragments 1.0.0是基于Stable Audio 3.0构建的音频创作应用，支持文本到音乐、init-audio和inpainting工作流。用户需在Hugging Face上接受Stable Audio 3许可并获取Read token，通过应用内的Checkpoint Manager下载模型。
实践成效：Fragments展示了Stable Audio 3.0作为“平台级组件”的集成价值。开发者并非直接使用Stable Audio的API，而是将开源权重集成到自有应用中，构建完整的创作体验。Stable Audio 3.0 Small Music作为默认的音乐生成包，支持文本到音乐、init-audio和inpainting三种模式，Small SFX则用于短音效生成。这一模式使Stable Audio从“独立工具”升级为“可嵌入的音频生成基础设施”，为第三方应用开发者提供了从模型到产品的完整路径。
版权声明：本平台仅提供信息存储空间服务，用户发布内容不代表本站观点，交易风险自担；侵权违法内容请立即举报（邮箱：37996619@qq.com），本站接通知后先行屏蔽，责任由发布者承担。