VALL-E 是微软研究院于2023年1月发布的神经编解码语言模型，全称为“Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers”，论文发表于 arXiv。它的核心突破在于将语音合成重新定义为“离散音频编解码 token 上的条件语言建模任务”——不再预测波形样本或频谱帧，而是先生成 EnCodec 离散 token 序列，再由解码器还原为波形。这一“prompt-token 接口”使说话人身份通过参考码序列传递，而非依赖特定说话人的重新训练，成为后续大量 LLM-based TTS 工作的技术模板。
从版本谱系来看，VALL-E 已发展出以下主要版本线：
VALL-E 基础版（2023年1月） ：系列的开山之作，使用约6万小时英语语音训练，在零样本 TTS 任务中取得 5.9% 的 WER 和显著的说话人相似度提升。模型采用两阶段架构：自回归模型先生成粗粒度音频 token，非自回归模型再迭代预测额外码本码进行细化。
VALL-E X（2023年3月） ：跨语言扩展版本，将 VALL-E 扩展到多语言场景，支持零样本跨语言语音合成和语音到语音翻译。只需源语言的一句话作为提示，即可生成目标语言的高质量语音，同时保留说话人的音色、情感和声学环境，并通过语言 ID 控制口音。
VALL-E 2（2024年） ：系列的质量跃迁版本，引入重复感知采样和分组编码建模两项核心技术，在 LibriSpeech 和 VCTK 数据集上达到与人类水平相媲美的零样本 TTS 性能。MOS 自然度评分达到 4.2，与人类录音的 4.3 在统计上不可区分。
VALL-E R（2024年） ：鲁棒性与效率优化版本，引入音素单调对齐策略和编解码合并方法，约束声学 token 与其关联音素匹配，将推理时间缩短超过60%，同时使 WER 接近真实录音水平。
VALL-E continual（持续学习版） ：在 VALL-E 基础上进行持续学习优化的变体，WER 从 5.9% 降至 3.8%，在保持说话人相似度的同时进一步提升了合成准确率。
开源生态版本：VALL-E 2 的研究代码和预训练权重已在 GitHub 上开源，但仅限研究用途，微软明确表示没有产品化或一般公开的计划。社区维护的非官方 PyTorch 实现（如 lifeiteng/vall-e、ishine/vall-e2）提供了可运行的替代方案。
第二部分：各版本详细对比与拆解
一、核心版本参数对比
维度 VALL-E VALL-E X VALL-E 2 VALL-E R
发布时间 2023年1月 2023年3月 2024年 2024年
核心定位 零样本TTS奠基 跨语言合成 人类级自然度 鲁棒高效合成
训练数据 60K小时英语 多语言数据 60K小时英语 基于VALL-E
WER 5.9% — 2.44% 接近真实录音
MOS自然度 — — 4.2（人类4.3） —
推理速度 基线 基线 更快（分组编码） 减少60%+
语言支持 英语 多语言（中英日等） 英语 英语
开源状态 论文 社区实现 研究代码开源 论文
二、核心技术架构拆解
VALL-E 系列共享一套两阶段层次结构，由自回归（AR）编解码语言模型和非自回归（NAR）编解码语言模型组成，两者均使用相同的 Transformer 架构，包含文本嵌入层、码嵌入层和码预测层。AR 模型先生成粗粒度音频 token，NAR 模型再迭代预测额外的码本码以细化语音细节。这一“语义+声学 token 层次化建模”的设计为后续大量 LLM-based TTS 方法奠定了基础。
VALL-E X 的跨语言扩展通过多语言条件编解码语言模型实现。模型以源语言语音和目标语言文本同时作为提示，预测目标语言的声学 token 序列。VALL-E X 继承了强大的上下文学习能力，能够通过语言 ID 控制口音消除——当指定语言 ID 为“no-accent”时，模型生成的语音不再带有源语言的口音痕迹。
VALL-E 2 的两项核心创新直接解决了 VALL-E 的两个关键局限。重复感知采样通过考虑解码历史中的 token 重复来改进原始的核采样过程，稳定解码的同时避免 VALL-E 中常见的无限循环和词重复问题。分组编码建模将编解码码组织为组，有效缩短序列长度，在提高推理速度的同时解决长序列建模问题。
VALL-E R 的鲁棒性优化引入了音素单调对齐策略，通过约束声学 token 匹配其关联的音素来确保更精确的对齐，使 WER 接近真实录音水平。编解码合并方法对浅量化层的离散码进行下采样，在保持语音质量的同时加速解码。这一研究指出其有潜力应用于有意义的项目，包括为失语症患者创建语音。
三、VALL-E 2 与 VALL-E 的关键差异
VALL-E 2 在 VALL-E 基础上的改进不是渐进式的参数调整，而是针对 VALL-E 暴露的三个核心问题——左到右解码带来的延迟、韵律控制基本隐式、残差量化层次的层级关系未被充分利用——的系统性回应。重复感知采样解决了采样策略导致的稳定性问题，分组编码建模解决了长序列建模的效率问题，两者共同将零样本 TTS 推向了人类水平的自然度。
第三部分：为什么分这么多版本？
一、从“能克隆”到“克隆得像真人”再到“克隆得稳且快”的场景递进
VALL-E 的版本分化遵循一条清晰的“可行性验证—质量跃迁—鲁棒优化”递进路径。VALL-E 基础版解决了“能否用离散编解码 token 和语言模型实现零样本语音克隆”的问题，以 5.9% WER 和 3 秒克隆能力验证了技术路线的可行性。VALL-E X 解决了“能否跨语言克隆”的问题，将能力从单语言扩展到多语言场景，使源语言语音能够生成目标语言的合成语音。VALL-E 2 解决了“合成质量能否达到人类水平”的问题，通过重复感知采样和分组编码建模将 MOS 自然度推至 4.2，与人类录音的 4.3 在统计上不可区分。VALL-E R 解决了“合成能否更稳定、更高效”的问题，通过音素单调对齐将推理时间缩短 60% 以上，同时使 WER 接近真实录音。
二、自回归架构的固有局限驱动了版本迭代
VALL-E 版本分化的底层技术逻辑在于自回归解码的固有局限。左到右的解码方式天然带来延迟，采样策略的随机性在带来生成多样性的同时引入了稳定性问题——词重复、遗漏和拼写错误是 VALL-E 类模型的常见失败模式。VALL-E 2 的重复感知采样和分组编码建模，以及 VALL-E R 的音素单调对齐，都是对这一类问题的针对性回应。这一演进方向反映了团队对“质量与效率不可兼得”这一命题的工程化回应——不是简单地选择一端，而是通过架构创新在两端之间找到更好的平衡点。
三、从“研究发布”到“开源研究”的安全审慎
VALL-E 系列采取了严格受限的开放策略。VALL-E 和 VALL-E 2 均为研究发布，微软明确表示没有产品化或一般公开的计划。VALL-E 2 的研究代码和预训练权重虽已在 GitHub 上开源，但仅限研究用途。这一策略的核心考量是滥用风险——仅需 3 秒音频即可克隆任何人声的能力，如果被滥用于深度伪造、电话诈骗或选举虚假信息，后果严重。微软表示正在开发检测模型以辨别 VALL-E 合成的语音，但技术本身不会面向公众开放。这种“研究开放、产品封闭”的策略使学术界能够复现和扩展 VALL-E 的架构，同时将滥用风险控制在研究环境内。
第四部分：最著名版本——VALL-E 2 本地部署实战
VALL-E 2 是系列中性能最强的版本，MOS 自然度达到 4.2，与人类录音不可区分。以下为基于非官方 PyTorch 实现的本地部署步骤。
步骤一：环境准备与硬件规划
硬件配置基准：
推荐配置：NVIDIA GPU，显存 16GB 及以上（如 RTX 4080 / A100）
最低配置：NVIDIA GPU，显存 8GB（需降低 batch size）
内存：32GB DDR4 及以上
存储：预留 50GB SSD 空间（含 LibriLight 数据集和模型权重）
软件环境清单：
操作系统：Ubuntu 22.04
Python 3.10+
PyTorch 2.0+，CUDA 11.8+
步骤二：克隆非官方实现并安装依赖
bash
git clone https://github.com/lifeiteng/vall-e.git
cd vall-e
pip install -e .
或使用 ishine 的 VALL-E 2 实现：
bash
git clone https://github.com/ishine/vall-e2.git
cd vall-e2
pip install git+https://git.ecker.tech/mrq/vall-e
步骤三：下载模型权重和数据
VALL-E 2 需要 LibriLight 数据集进行训练。预训练权重可通过研究合作申请获取，社区实现提供了基于 LibriSpeech 训练的替代权重。
bash
# 下载LibriLight数据集（约6万小时）
wget https://dl.fbaipublicfiles.com/librilight/data/librispeech_finetuning.tgz
tar -xzf librispeech_finetuning.tgz
步骤四：零样本语音合成推理
python
import torch
from vall_e.inference import VALL_E_Inference
# 初始化推理器
inference = VALL_E_Inference(
model_path="checkpoints/vall-e-2",
device="cuda"
)
# 零样本语音克隆（3秒参考音频）
audio = inference.synthesize(
text="欢迎使用 VALL-E 2 语音合成系统。",
reference_audio="reference_3s.wav", # 3秒参考音频
language="en"
)
# 保存输出
import soundfile as sf
sf.write("output.wav", audio, 24000)
VALL-E 2 的核心推理流程遵循两阶段解码：AR 模型生成粗粒度分组编码序列，NAR 模型迭代预测剩余的细粒度码本码，最后由 EnCodec 解码器还原为波形。
步骤五：启用重复感知采样
VALL-E 2 的重复感知采样是消除词重复的关键。在推理时需在采样配置中启用：
python
# 配置重复感知采样
sampling_config = {
"method": "repetition_aware",
"top_k": 50,
"repetition_threshold": 3, # 连续重复超过3次触发抑制
"temperature": 0.9
}
audio = inference.synthesize(
text="这是一个需要稳定解码的长文本示例，"
"重复感知采样能够有效避免词重复和无限循环问题。",
reference_audio="reference_3s.wav",
sampling_config=sampling_config
)
步骤六：监控与调优
关键指标监控：
WER：VALL-E 2 在 LibriSpeech 上 2.44%
MOS 自然度：4.2（人类 4.3）
显存占用：约 12-16GB（FP16 精度）
推理速度：分组编码建模较 VALL-E 显著加速
注意事项：VALL-E 2 仅限研究用途，不可用于商业产品或面向公众的服务。使用前需确保遵守微软研究许可条款。
第五部分：不同版本的实践结果
案例一：VALL-E X 跨语言影视配音——效率提升4倍，成本降低60%（基于 VALL-E X）
VALL-E X 在影视配音场景中展现了显著的效率提升。典型应用案例显示，克隆特定演员的语音特征后，配音效率提升 4 倍，成本降低 60%。例如输入“请用英语介绍故宫”，系统能自动识别语言切换点，生成带有中文口音特征的英语语音，同时保留说话人的音色和情感基调。
实践成效：传统影视配音需要配音演员用目标语言重新录制全部台词，成本高、周期长。VALL-E X 的零样本跨语言合成能力使制作方仅需源语言的一句话样本，即可生成目标语言的高质量配音，同时保留演员的原始音色、情感和声学环境。这一能力对国际发行的影视作品具有直接的商业价值——一部中文剧集可以在数天内完成多语言配音，而非数周。
案例二：VALL-E 2 开源研究社区——人类级自然度的复现与扩展（基于 VALL-E 2）
VALL-E 2 于 2026 年 3 月开源后，研究社区迅速展开了复现和扩展工作。开源内容包括研究代码、预训练模型权重和完整论文，使研究者能够在统一的基线上进行创新。
实践成效：VALL-E 2 的开源使学术界首次能够复现“零样本 TTS 达到人类水平自然度”的结果。核心贡献在于重复感知采样解决了自回归 TTS 模型中词重复的持续性问题——这是 VALL-E 类模型最常见的失败模式，也是阻碍其从研究走向实际应用的关键瓶颈。开源后，研究者可以在此基础上探索更高效的推理策略、更精细的韵律控制和更广泛的语言覆盖。
案例三：VALL-E R 失语症患者语音重建——从技术到有意义的应用（基于 VALL-E R）
VALL-E R 的研究明确指出其有潜力应用于有意义的社会项目，“包括为受失语症影响的人创建语音”。失语症患者因脑损伤导致语言能力受损，但声带和发音器官可能仍然完好——VALL-E R 能够从患者仅存的语言样本中学习其音色特征，为患者重建合成语音，使其能够以“自己的声音”进行交流。
实践成效：这一应用的核心价值超越了技术指标——它关乎人的尊严和身份认同。传统 TTS 方案为失语症患者提供的是通用的合成语音，患者被迫用陌生的声音与世界交流。VALL-E R 的零样本克隆能力使患者只需在仍有说话能力时录制少量样本，即可保存其声音特征供未来使用。音素单调对齐策略确保了合成语音在内容准确性上的鲁棒性——对失语症患者而言，语音的清晰可懂比自然度更为关键。
案例四：VALL-E X 低资源语言《Let It Go》多语言翻唱（基于 VALL-E X）
2026年2月，一个研究项目首次将 VALL-E X（v0.1.2）适配至阿尔巴尼亚语，完成了《Let It Go》全曲的端到端生成与人工评测。阿尔巴尼亚语是一种低资源语言，在主流 TTS 训练数据中几乎不存在。项目利用 VALL-E X 的跨语言零样本能力，从少量阿尔巴尼亚语语音样本出发，生成了包含复杂辅音丛和鼻化元音的完整歌曲。
实践成效：这一案例验证了 VALL-E X 在低资源语言场景中的适应性。传统 TTS 系统需要针对每种语言收集大量训练数据，而 VALL-E X 的跨语言架构使其能够从极少量样本中泛化到未见语言。这对于语言保护和小语种数字化具有直接价值——全球有数千种语言面临消亡威胁，VALL-E X 的零样本跨语言能力为这些语言的语音合成提供了低成本的解决方案。
版权声明：本平台仅提供信息存储空间服务，用户发布内容不代表本站观点，交易风险自担；侵权违法内容请立即举报（邮箱：37996619@qq.com），本站接通知后先行屏蔽，责任由发布者承担。