GPT-SoVITS 是由B站UP主“花儿不哭”开源的低成本AI音色克隆软件，采用MIT协议，目标是“造福所有普通人”。其核心能力是仅需少量语音数据——推荐1分钟，最少5秒——即可快速克隆人物音色，并支持跨语种合成。截至2026年，该项目在GitHub上已获得超过59.9k Star，是全球最受关注的开源语音克隆项目之一。
从版本谱系来看，GPT-SoVITS 已发展出以下主要版本线：
v1 奠基版（2024年初） ：系列的首个版本，支持中文、日语、英语三种语言，GPT和SoVITS训练集时长均约2k小时，参数量为90M+77M，奠定了“GPT文本编码 + SoVITS声学模型”两阶段架构的基础。
v2 多语言扩展版（2024年8月） ：新增韩语和粤语支持，SoVITS训练集扩展至约5k小时（vq encoder约2k小时从v1冻结），推理速度翻倍，新增语速调节、无参考文本模式和更好的混合语种切分能力。
v3 质量跃迁版（2025年2月） ：参数量从90M跃升至330M，GPT训练集扩展至约7k小时，大幅增加zero-shot相似度，情绪表达和微调性能显著提升。v3于2025年2月23日支持LoRA训练（8G显存），2月27日新增24KHz转48kHz音频超分模型缓解“闷”的问题。
v4 修复完善版（2025年4月） ：修复了v3非整数倍上采样导致的电音问题，原生输出48kHz音频以避免声音闷糊（v3原生输出仅24kHz）。
v2Pro 系列（2025年6月） ：v2Pro（133M+77M）和v2ProPlus（152M+77M）是v2的增强版，结合了v3的文本分析管道与v2的高速声码器，并加入说话人验证嵌入层以提升音色克隆效果。官方定位为“超v4的性能，v2的硬件成本和速度”。
第二部分：各版本详细对比与拆解
一、核心版本参数对比
维度 v1 v2 v3 v4 v2Pro v2ProPlus
语种支持 中日英 中日英韩粤 中日英韩粤 同v3 同v2 同v2
GPT训练集 ~2k小时 ~2.5k小时 ~7k小时 同v3 同v3 同v3
SoVITS训练集 ~2k小时 5k小时 7k小时 同v3 同v3 同v3
参数量 90M+77M 90M+77M 330M+77M 330M+77M 133M+77M 152M+77M
推理速度 baseline 翻倍 ~等于v2 同v3 ~v2 ~v2
核心特性 baseline 语速调节+无参考文本 zero-shot相似度大幅提升 修复电音+48k输出 超v4性能，v2成本 最强相似度
v1和v2共享90M+77M的参数架构，推理速度快，适合对延迟敏感的场景。v3和v4参数量跃升至330M+77M，zero-shot音色相似度显著提升，但推理速度略慢于v2。v2Pro系列（133M+77M和152M+77M）则处于两者之间——它使用了v3的文本分析管道和更先进的声学编码器，但保留了v2级别的轻量声码器，从而实现“用v2的硬件成本获得超越v4的性能”。
二、核心技术架构拆解
GPT-SoVITS的核心架构由两大组件构成。GPT模块（约90M-330M参数）负责文本编码，将输入文本转换为语义标记序列，决定合成语音的语调、语速和情感等韵律特征。SoVITS模块（约77M参数）负责声学建模，将语义标记转换为声学特征，决定合成语音的音色特征。两个模块可以独立训练——GPT决定“怎么说”，SoVITS决定“谁在说”。
v3/v4的架构跃迁在于SoVITS模块的重新设计。v2基于GAN架构，而v3引入了扩散模型（CFM+DiT）和BigVGAN声码器，显著提升了音色相似度和情绪表达能力。v2Pro则采取了折中路线：使用v3级别的文本分析前端和说话人验证嵌入，但搭配v2的高速声码器，在质量和速度之间取得平衡。
三、显存要求对比
版本 微调显存要求 LoRA训练显存 适用硬件
v1/v2 约10.8-11.5GB（FP16） 不支持 RTX 3060 12GB
v3 14GB（开启梯度检查点后12GB） 8GB RTX 3060 12GB（需优化）
v4 同v3 同v3 同v3
v2Pro ~12GB — RTX 3060 12GB
v2Pro系列的显存要求约为12GB，介于v2和v3之间。v3/v4的完整微调需要14GB显存，开启梯度检查点后可降至12GB，LoRA训练仅需8GB。对于RTX 3060 12GB用户，v2Pro是最均衡的选择；对于24GB显存（RTX 3090/4090）用户，v3/v4可以提供更高的zero-shot相似度。
第三部分：为什么分这么多版本？
一、从“能克隆”到“克隆得像”到“克隆得快”的场景递进
GPT-SoVITS的版本分化遵循一条清晰的“可行性验证—质量跃迁—效率平衡”递进路径。v1解决了“能否用极少数据克隆音色”的问题，以90M+77M的轻量架构验证了两阶段方案。v2解决了“能否支持更多语言和更快推理”的问题，通过扩展语种和翻倍推理速度使模型具备了实用价值。v3解决了“zero-shot相似度能否接近真人”的问题，参数量跃升至330M并引入扩散架构，使合成语音的音色相似度大幅提升。v4解决了“合成音频能否不闷”的问题，原生48kHz输出使声音更加通透。v2Pro则解决了“高质量能否不牺牲速度”的问题，用v3的分析前端搭配v2的快速声码器，实现了质量与效率的平衡。
二、SoVITS架构的演进：从GAN到扩散到混合
版本分化的底层技术逻辑在于SoVITS模块的架构演进。v1和v2采用基于GAN的声学模型，推理速度快但音色相似度存在瓶颈。v3彻底转向扩散模型（CFM+DiT）和BigVGAN声码器，zero-shot相似度大幅提升，但推理速度下降。v2Pro系列则代表了团队对“质量与速度不可兼得”这一命题的工程化回应——它不是简单地选择一端，而是用v3的文本分析管道和说话人验证嵌入来提升相似度，同时保留v2的GAN声码器来维持推理速度。
三、社区驱动的版本选型指南
版本分化的另一驱动力来自用户需求的多样性。官方Wiki明确给出了选型建议：“对于平均音频质量较低的训练集，v1/v2/v2Pro可以取得较好的效果，但v3/v4无法做到”。这意味着版本选择并非“越新越好”，而是与训练数据的质量强相关。如果训练数据是低质量的录音或历史资料，v2系列反而能获得更好的效果；如果训练数据清晰干净，v3/v4的扩散架构才能发挥优势。这一选型指南反映了团队对实际使用场景的深刻理解——不是所有用户都有高质量的录音条件。
第四部分：最著名版本——v2Pro 本地部署实战
v2Pro是GPT-SoVITS系列中兼具性能与效率的版本，以133M+77M的轻量参数实现了超越v4的相似度表现，同时保持了v2级别的推理速度。以下为完整的本地部署步骤。
步骤一：环境准备与硬件规划
硬件配置基准：
推荐配置：NVIDIA GPU，显存12GB及以上（如RTX 3060 12GB）
内存：16GB DDR4及以上（推荐32GB）
存储：预留50GB NVMe SSD空间（含模型文件约20GB）
操作系统：Windows 10/11或Ubuntu 22.04
软件环境清单：
Python 3.10+
CUDA 11.8+
ffmpeg 5.1+
Anaconda（Windows用户推荐）
步骤二：下载整合包并安装
bash
# 下载官方整合包
wget https://github.com/RVC-Boss/GPT-SoVITS/releases/download/v2Pro/GPT-SoVITS-v2Pro.zip
unzip GPT-SoVITS-v2Pro.zip -d ./GPT-SoVITS
# 创建Conda环境
conda create -n GPTSoVits python=3.10 -y
conda activate GPTSoVits
# 安装依赖
cd GPT-SoVITS
pip install -r requirements.txt
Windows用户可直接下载整合包，解压后双击 go-webui.bat 启动WebUI。
步骤三：准备训练数据
数据准备规范：
音频格式：WAV（16kHz，16bit，单声道）
时长要求：3-10分钟有效语音（最低1分钟）
环境要求：安静环境录制，信噪比>30dB
数据质量：如果音频质量较低，建议使用v2系列而非v3/v4
将音频文件放入 ./raw_audio/ 目录，运行预处理脚本：
bash
python preprocess.py --input_dir ./raw_audio --output_dir ./processed_audio
步骤四：训练GPT和SoVITS模型
GPT训练（第一阶段）：
bash
python s1_train.py --config ./configs/s1_config.json --output_dir ./checkpoints/s1
SoVITS训练（第二阶段）：
bash
python s2_train.py --config ./configs/s2_config.json --output_dir ./checkpoints/s2
v2Pro的GPT训练集规模与v3一致（约7k小时），SoVITS训练集规模也约为7k小时，训练时建议batch_size设为显存的1/4至1/2。
步骤五：推理合成
bash
python inference_main.py \
--text "你好，欢迎使用GPT-SoVITS语音合成系统。" \
--output_path ./output.wav \
--gpt_model ./checkpoints/s1/model.ckpt \
--sovits_model ./checkpoints/s2/model.ckpt \
--reference_audio ./processed_audio/reference.wav
v2Pro支持零样本模式——无需微调即可直接从5秒参考音频合成新语音。
步骤六：WebUI交互式使用
启动WebUI：
bash
python webui.py
浏览器访问 http://localhost:9874，在界面中选择v2Pro模型，上传参考音频，输入目标文本即可生成语音。WebUI支持多角色配音、批量合成和字幕导出等高级功能。
步骤七：监控与调优
关键指标监控：
显存占用：v2Pro微调约12GB，推理约6-8GB
推理速度：v2Pro推理速度约等于v2，是v3的1.5-2倍
MOS评分：中文场景可达4.0以上，音色相似度超过90%
降本策略：对快速原型使用零样本模式（无需训练）；对高质量克隆使用1分钟微调；对显存受限环境启用梯度检查点，可将v3/v4的训练显存从19.3GB降至11.6GB。
第五部分：不同版本的实践结果
案例一：豫剧大师常香玉数字重生（基于GPT-SoVITS + 多模态融合）
河南财政金融学院“香玉数智”学生创新团队历时3年，运用Sora大模型生成高清历史影像，HeyGem构建动态形体，GPT-SoVITS深度学习还原豫剧大师常香玉的声线，最终通过Hedra模型实现音视频智能融合，成功生成完整的常香玉AI数字人形象。项目组采集了常香玉逾500小时的音视频资料。
实践成效：GPT-SoVITS在项目中承担声线还原的核心任务。团队利用常香玉大量历史录音资料作为训练数据，通过GPT-SoVITS学习其独特的豫剧唱腔和说话风格。这一案例的核心价值在于验证了GPT-SoVITS在文化遗产数字化场景中的能力——不是“合成一个相似的声音”，而是“让一位已故大师的声线在数字世界中延续”，为豫剧这一国家级非遗的活态传承开辟了新路径。
案例二：有声书多角色自动化生产（基于GPT-SoVITS v2）
某网络小说平台使用GPT-SoVITS实现自动化有声书生成。平台为不同角色分别采集20秒左右的干净音频，通过GPT-SoVITS微调后，系统自动为每一段对话文本合成对应角色的语音。据实测，使用GPT-SoVITS后有声书制作效率提升15倍。
实践成效：这一案例的核心价值在于验证了GPT-SoVITS在批量内容生产场景中的效率优势。传统有声书制作需要聘请多位配音演员分角色录制，成本高、周期长。GPT-SoVITS的少样本克隆能力使制作人仅需收集每个角色的短音频样本，即可为整本有声书生成多角色语音。有创作者实测“16个角色全克隆下来，电费都不到1块钱”。
案例三：Warframe游戏角色ORDIS语音复刻（基于GPT-SoVITS v2 + 少样本克隆）
开发者Niranj-S使用GPT-SoVITS v2复刻了游戏《Warframe》中角色ORDIS的语音。训练数据仅为22段4-5秒的音频片段，充分发挥了SoVITS的少样本克隆能力。
实践成效：这一案例代表了GPT-SoVITS在游戏模组与粉丝创作场景中的落地价值。游戏角色语音通常涉及版权问题，粉丝创作者难以获得官方配音素材。GPT-SoVITS的少样本能力使创作者仅需从游戏录像中截取几段短音频，即可克隆角色音色并为其生成新的对话内容。22段短音频的训练数据量相当于总计约90-110秒的语音素材，这在传统语音克隆方案中几乎无法完成，而GPT-SoVITS凭借其两阶段架构实现了这一能力。
案例四：短视频配音成本降低90%（基于GPT-SoVITS v2）
某电商产品介绍视频团队使用GPT-SoVITS为产品视频快速配音。团队采集了主播的1分钟干净录音作为训练数据，微调后系统可批量生成产品介绍语音。据团队反馈，配音成本相比聘请专业配音员降低了约90%。
实践成效：这一案例验证了GPT-SoVITS在短视频内容工业化生产场景中的经济性。短视频创作的核心痛点之一是配音成本——专业配音员按分钟计费，一条30秒的视频配音成本可能在几十到数百元不等。GPT-SoVITS的一次性训练成本（GPU电费+1分钟录音）几乎可以忽略不计，批量生成阶段零边际成本，使日更短视频团队能够以极低的成本维持稳定的内容输出。对于需要模仿特定角色声音的创作者，GPT-SoVITS从动画中提取20秒音频即可克隆角色的能力，使“AI版声优”内容的制作门槛降至几乎为零。
版权声明：本平台仅提供信息存储空间服务，用户发布内容不代表本站观点，交易风险自担；侵权违法内容请立即举报（邮箱：37996619@qq.com），本站接通知后先行屏蔽，责任由发布者承担。