Fish-Speech（现称 Fish Audio）是由北京始智科技有限公司开发的开源文本转语音（TTS）模型，项目最初于2023年发布，经过两年多的快速迭代，已成为全球SOTA级别的开源语音合成方案之一。其核心能力包括零样本语音克隆、多语言合成、细粒度情感控制以及生产级流式推理。
从版本谱系来看，Fish-Speech 已发展出以下主要版本线：
v1.0 奠基系列（2023年） ：Fish-Speech 的最初版本，采用 Transformer、VITS、VQVAE 和 GPT 等深度学习技术构建，验证了“LLM + VQVAE”两阶段架构在语音合成中的可行性。
v1.2.x 多语言扩展系列（2024年7月–9月） ：v1.2.0 首次发布，v1.2.1 用 SenseVoice 替代 Whisper 提升 ASR 性能并新增原生 Apple Silicon 支持，v1.3.x 持续优化多语言能力。这一阶段确立了 Fish-Speech 在中文、英语、日语等多语言合成上的基础能力。
v1.4.x 架构跃迁系列（2024年9月–11月） ：v1.4.0 是系列的架构分水岭，引入全新的 VQGAN 架构提升音频质量和推理速度，更新 WebUI 并优化语言切换。v1.4.3 进一步引入 Fish Agent，支持流式对话与实时交互。
v1.5.x 生产就绪系列（2024年12月–2025年5月） ：v1.5.0 引入全新的 v1.5 模型架构，改进数据集处理并支持 API 认证，新增基于哈希的参考音频缓存以提升性能，增强 Apple Silicon 支持。v1.5.1 修复 PyTorch 安全设置并大幅提升推理速度，新增 ONNX 导出支持，增强阿拉伯语和希伯来语处理。
S1 品牌升级系列（2025年6月） ：Fish Speech 正式更名为 Fish Audio，发布 S1 模型。S1（4B参数）在 TTS-Arena2 中排名第一，WER 0.008、CER 0.004；S1-mini（0.5B参数）WER 0.011、CER 0.005，开源发布。支持64+情感表达，集成 RLHF 对齐。
S2 / S2 Pro 旗舰系列（2026年3月） ：系列的重大架构升级版本。S2 基于 Qwen3-4B 骨干网络，采用双自回归（Dual-AR）架构，在超过1000万小时、覆盖80多种语言的音频数据上训练，结合强化学习对齐。S2 Pro 是当前旗舰版本，支持自由形式的自然语言行内情感控制。
S2.1 Pro 免费API系列（2026年7月） ：Fish Audio 重构推理栈，将 S2.1 Pro 作为免费 TTS API 向所有开发者开放，支持83种语言。
第二部分：各版本详细对比与拆解
一、核心版本参数对比
维度 v1.4.x v1.5.x S1 S2 Pro
发布时间 2024年9月–11月 2024年12月–2025年5月 2025年6月 2026年3月
核心架构 VQGAN DualAR Transformer DualAR Transformer Dual-AR + Qwen3骨干
参数量 未公开 ~4B 4B / 0.5B 4B(慢) + 0.4B(快)
训练数据 未公开 100万+小时 30万+小时英文/中文 1000万+小时
语言支持 8种 13种 多语言 80+种
情感控制 基础 基础 64+表情 自由形式自然语言
开源状态 开源 开源 开源 开源
核心突破 VQGAN架构 ONNX导出+性能优化 TTS-Arena2第一 自然语言行内控制
v1.4.x 到 v1.5.x 的演进聚焦于工程化能力的提升。v1.4.0 引入 VQGAN 架构是核心架构升级，v1.4.3 的 Fish Agent 将 Fish-Speech 从“离线合成工具”升级为“实时交互引擎”。v1.5.x 进一步优化推理速度和部署灵活性，ONNX 导出支持使模型能够在更多平台上运行。
S1 是 Fish Audio 品牌升级后的首个旗舰模型，在 TTS-Arena2 中排名第一。S1-mini（0.5B参数）的 WER 为0.011、CER 为0.005，以极小的参数规模实现了接近旗舰级的性能。
S2 Pro 是当前最强版本，其双自回归（Dual-AR）架构由4B参数的慢速AR（沿时间轴预测主要语义码本）和0.4B参数的快速AR（在每个时间步生成剩余的9个残差码本）组成，在保持推理效率的同时保留了音频保真度。
二、S2 Pro 核心技术拆解
双自回归（Dual-AR）架构是S2最核心的技术创新。S2 构建在 decoder-only Transformer 之上，结合基于 RVQ 的音频编解码器（10个码本，约21Hz帧率）。将所有码本沿时间轴展开会导致序列长度爆炸10倍，S2 通过双自回归架构解决了这一问题：慢速AR沿时间轴预测主要语义码本（40亿参数），快速AR在每个时间步生成剩余的9个残差码本（4亿参数），重建细粒度声学细节。
自由形式自然语言情感控制是S2 Pro最独特的差异化能力。S2 引入了 [bracket] 语法，通过自然语言标签（如 [whisper]、[laugh]、[super happy]）对韵律和情感进行行内控制。标签被视为标准文本而非专用控制标记，因此用户不限于固定的表达集——可以写 [whisper in small voice]、[professional broadcast tone] 或 [pitch up] 等自由形式的描述。
强化学习对齐（GRPO） 是S2 Pro在语音质量上的关键保障。在后期训练中，S2 使用组相对策略优化（GRPO）进行强化学习，选择该算法是为了避免 PPO 式价值模型在长音频上下文中的显存开销。奖励信号结合了语义准确性、指令遵循和声学偏好等多个维度。
生产级流式推理方面，S2 Pro 在单张 NVIDIA H200 GPU 上实现了约100ms的首包延迟，吞吐量超过3000个声学token/秒，同时保持 RTF 低于0.5。
三、性能评测表现
在 Seed-TTS Eval 基准测试中，S2 Pro 实现了中文 WER 0.54%（整体最优）和英文 WER 0.99%（整体最优），在包括闭源系统在内的所有评估模型中取得了最低的词错误率。
在音频图灵测试（Audio Turing Test）中，S2 在加入指令重写后的后验均值达到0.515，超过了 Seed-TTS 的0.417和 MiniMax-Speech 的0.387。在 EmergentTTS-Eval 评测中，S2 对 gpt-4o-mini-tts 基准的综合胜率达到81.88%，是所有评估模型中最高的。
在 Hugging Face Open TTS Leaderboard 上，S2 Pro 在9种语言（英语、中文、法语、西班牙语、德语、意大利语、日语、韩语、俄语）的平均可理解性（WER）中排名第二，在德语 WER 中排名第一。
四、定价与许可
Fish-Speech 的代码库和模型权重采用 FISH AUDIO RESEARCH LICENSE 发布，免费用于研究和非商业用途，商业使用需要从 Fish Audio 获取单独许可。早期版本（v1.2.x–v1.4.x）采用 CC-BY-NC-SA-4.0 许可，源代码采用 BSD-3-Clause 许可。
第三部分：为什么分这么多版本？
一、从“能合成”到“合成得自然”再到“合成得可控”的场景递进
Fish-Speech 的版本分化遵循一条清晰的“可行性验证—质量跃迁—可控性突破”递进路径。v1.0到v1.3解决了“能否用开源模型实现多语言语音合成”的问题，以 Transformer + VQVAE 架构验证了技术路线的可行性。v1.4.x解决了“推理速度能否满足实用需求”的问题，通过 VQGAN 架构和 Fish Agent 将 Fish-Speech 从“离线合成工具”升级为“实时交互引擎”。v1.5.x解决了“部署能否足够灵活”的问题，通过 ONNX 导出和 Apple Silicon 优化拓展了可部署平台的范围。
S1 解决了“合成质量能否达到顶尖水平”的问题，以4B参数在 TTS-Arena2 中登顶，WER 和 CER 指标达到行业领先水平。S2 Pro 解决了“情感表达能否被自由控制”的问题，通过双自回归架构和自由形式自然语言标签，将语音合成从“选择预设情感”升级为“用语言描述任何情感”。
二、架构路线的根本性跃迁：从VQGAN到Dual-AR + Qwen3
版本分化的底层技术逻辑在于核心架构的多次跃迁。v1.4.0引入的 VQGAN 架构替代了早期的 VQVAE，在音频质量和推理速度上实现了显著提升。S1 和 S2 采用的 Dual-AR 架构则代表了根本性的范式转变——不再是单一 Transformer 处理所有音频 token，而是通过主从式双 Transformer 设计，慢速AR负责语义预测、快速AR负责声学细节，在保持推理效率的同时实现高保真输出。
S2 进一步将骨干网络从自研 Transformer 替换为 Qwen3-4B，使模型能够利用 Qwen 在多语言语料上积累的语义理解能力。这一选择使 S2 的语言覆盖从13种跃升至80多种，情感控制的自然语言理解能力也大幅提升。
三、开源与商业的双轨并行
Fish-Speech 采取了“开源筑基+商业变现”的双轨策略。基础模型（v1.0–v1.5.x）以开源形式发布，代码库和模型权重在 GitHub 和 Hugging Face 上开放，社区可以自由使用、修改和微调。S1 和 S2 Pro 同样开源，但采用 FISH AUDIO RESEARCH LICENSE，商业使用需要单独许可。
这一策略的价值在于：开源版本吸引了大量开发者构建应用生态，使 Fish-Speech 在 GitHub 上获得了广泛关注。商业版本通过质量优势和企业级服务实现商业闭环，S2.1 Pro 免费 API 的推出进一步降低了开发者使用门槛，扩大了 Fish Audio 的平台影响力。
第四部分：最著名版本——Fish-Speech v1.5 本地部署实战
Fish-Speech v1.5 是系列中部署最成熟、社区生态最完善的版本，支持13种语言、零样本语音克隆、ONNX 导出和 LoRA 微调，推理场景下仅需4GB显存即可运行。以下为完整的本地部署步骤。
步骤一：环境准备与硬件规划
硬件配置基准：
基础推理（随机音色） ：显存 ≥4GB，NVIDIA显卡（CUDA 12.x），硬盘预留 ≥20GB
语音克隆推理：显存 ≥6GB
模型微调（LoRA） ：显存 ≥8GB，建议CPU核心数 ≥4，内存 ≥16GB
推荐配置：NVIDIA GPU，显存12GB及以上（如RTX 3060 12GB）
操作系统：Linux（Ubuntu 20.04+ / CentOS 7+），Windows用户需安装 WSL2，macOS用户需使用 Intel 芯片设备
步骤二：安装依赖与创建环境
bash
# 安装音频处理依赖
apt install portaudio19-dev libsox-dev ffmpeg
# 创建Conda环境
conda create -n fish-speech python=3.12
conda activate fish-speech
# 克隆仓库
git clone https://github.com/fishaudio/fish-speech.git
cd fish-speech
# 安装（选择CUDA版本）
pip install -e .[cu129]
步骤三：Docker部署（推荐）
Fish-Speech 提供多种 Docker 部署方式，适配不同场景：
bash
# 拉取并启动WebUI
docker compose --profile webui up
# 启用compile优化启动WebUI
COMPILE=1 docker compose --profile webui up
# 启动API Server
docker compose --profile server up
# 仅CPU部署
BACKEND=cpu docker compose --profile webui up
服务启动后，通过 http://localhost:7860 访问 WebUI，通过 http://localhost:8080 访问 API Server。
步骤四：零样本语音克隆推理
python
import fish_speech
from fish_speech.inference import TTSInference
# 初始化推理器
tts = TTSInference(
model_path="checkpoints/fish-speech-1.5",
device="cuda"
)
# 零样本语音克隆
tts.inference(
text="你好，欢迎使用Fish-Speech语音合成系统。",
reference_audio="reference.wav", # 10-30秒参考音频
output_path="output.wav"
)
Fish-Speech v1.5 支持零样本语音克隆，仅需10-30秒参考音频即可克隆音色。
步骤五：LoRA微调私有音色
Fish-Speech v1.5 官方仓库已支持 LoRA 微调：
bash
# 准备训练数据（音频+转录文本）
# 数据格式：每行包含音频路径和对应文本
# 启动LoRA微调
python -m fish_speech.train.lora \
--base_model fishaudio/fish-speech-1.5 \
--data_dir ./your_dataset \
--output_dir ./lora_checkpoints \
--lora_r 8 \
--lora_alpha 16
LoRA微调采用 r=8、alpha=16 配置，仅需约0.96%的可训练参数即可适配私有音色数据集。单卡 RTX 3090（24GB）即可启动微调，而全参数微调需要至少2×A100 80GB。
步骤六：API服务化部署
bash
# 启动API Server
python -m fish_speech.api.server \
--host 0.0.0.0 \
--port 8080
API 兼容 OpenAI 格式，支持 /v1/audio/speech 接口调用。
步骤七：监控与调优
关键指标监控：
显存占用：基础推理约4GB，语音克隆约6GB，LoRA微调约8GB
推理速度：NVIDIA RTX 4060上实时系数约1:5，RTX 4090上可达1:15
延迟：S2 Pro 在 H200 上首包延迟约100ms，吞吐量3000+ tokens/秒
降本策略：对快速原型使用随机音色推理（4GB显存即可）；对高质量克隆使用10-30秒参考音频；对私有音色适配使用LoRA微调（单卡3090即可）。启用 COMPILE=1 环境变量可进一步提升推理速度。
第五部分：不同版本的实践结果
案例一：数字阅读平台有声书自动化生产（基于Fish-Speech v1.5）
某数字阅读平台需将20万册图书转换为有声内容。平台使用 Fish-Speech v1.5 搭建有声书自动化生产流水线，为每本书配置不同的叙述音色，系统自动完成从文本到语音的转换。
实践成效：Fish-Speech v1.5 的零样本语音克隆能力使平台仅需收集少量参考音频即可为不同书籍配置多样化音色。单人日均产出约20小时音频，相比传统配音录制效率提升了一个数量级。v1.5 的 ONNX 导出支持进一步降低了部署成本，使平台能够在多台服务器上分布式运行推理任务。
案例二：金融平台智能客服实时语音交互（基于Fish-Speech v1.4.3 Fish Agent）
某金融平台客服系统日均处理10万次语音交互，传统TTS方案延迟超过1秒，导致用户流失率上升15%。平台集成 Fish-Speech v1.4.3 的 Fish Agent 流式推理能力后，实现了实时语音合成。
实践成效：集成后，客户等待时长缩短60%，坐席工作效率提升40%，服务满意度从78%提升至89%。Fish Agent 的流式对话能力使客服系统能够在用户提问的同时实时生成语音回应，将交互体验从“问答式”升级为“对话式”。
案例三：教育出版社儿童有声书温暖音色定制（基于Fish-Speech v1.5）
某教育出版社需将100本儿童读物制作成有声书，每本书约3万字，要求中文普通话发音、声音温暖亲切。出版社使用 Fish-Speech v1.5 的 LoRA 微调功能，录制了5-10秒的温暖音色参考音频进行适配。
实践成效：LoRA 微调仅需约0.96%的可训练参数即可适配私有音色，单卡 RTX 3090 即可完成微调训练。生成的有声书音色温暖亲切，适合儿童收听，制作周期从数月压缩至数周。
案例四：品牌IP专属语音助手音色定制（基于Fish-Speech S2 Pro）
某品牌为其IP定制专属语音助手，使用 Fish-Speech S2 Pro 的自然语言行内情感控制能力，通过 [whisper]、[laugh]、[super happy] 等标签在合成过程中精确控制语音的情感表达。
实践成效：S2 Pro 的自由形式自然语言标签使品牌能够在合成文本中嵌入任意情感描述，无需预先定义固定的标签集。在 EmergentTTS-Eval 评测中，S2 Pro 对 gpt-4o-mini-tts 基准的胜率达到81.88%，语音自然度和情感表现力得到了显著提升。这一能力使品牌IP的语音助手从“机械播报”升级为“有情感的对话伙伴”。
案例五：多语言跨境电商产品介绍视频（基于Fish-Speech v1.5）
某跨境电商团队使用 Fish-Speech v1.5 为产品介绍视频生成多语言配音。团队录制了主播的10秒中文参考音频，通过跨语言语音克隆生成英、日、韩等多语言产品介绍语音。
实践成效：Fish-Speech v1.5 支持13种语言，零样本语音克隆能力使团队无需聘请多语种配音员，用一段中文录音即可生成多语言产品介绍，同时保持主播的原生音色。这一方案使视频制作成本降低了约90%，制作周期从数天压缩至数小时。
版权声明：本平台仅提供信息存储空间服务，用户发布内容不代表本站观点，交易风险自担；侵权违法内容请立即举报（邮箱：37996619@qq.com），本站接通知后先行屏蔽，责任由发布者承担。