谷歌在音频生成领域的布局跨越了近四年时间，从AudioLM的底层框架验证，到MusicLM的文本到音乐跨越，再到Lyria的产品化落地，形成了一条清晰的“技术奠基—能力扩展—产品集成”演进路径。
AudioLM（2022年9月） ：谷歌研究院发布的音频生成框架，将音频生成重新定义为离散token上的语言建模任务。AudioLM采用混合tokenization方案，利用预训练掩码语言模型的离散化激活捕捉长期结构，同时使用SoundStream神经音频编解码器产生的离散码实现高质量合成。AudioLM不依赖任何文本转录或标注，在60,000小时英语语音数据上训练后，能够生成语法和语义上合理的语音续写，同时保持说话人身份和韵律。此外，AudioLM还展示了生成连贯钢琴音乐续写的能力，尽管训练中未使用任何音乐符号表示。
MusicLM（2023年1月） ：建立在AudioLM框架之上的文本条件音乐生成模型，采用分层序列到序列建模方法。MusicLM整合了SoundStream、w2v-BERT和MuLan三个预训练模型，在约280,000小时的音乐数据集上训练，以24kHz采样率生成高保真音乐，可生成长达5分钟的音乐片段。MusicLM的核心功能包括文本生成音乐、故事模式（按时间线生成风格叙事音乐）、图像配乐和旋律延续。由于训练数据基于现有歌曲存在版权风险，且生成的音乐中约有1%直接复制训练数据，谷歌表示目前没有立即公开发布MusicLM的计划。
Lyria系列（2023年–2026年） ：谷歌DeepMind推出的产品级音乐生成模型家族，是AudioLM和MusicLM技术积累的商业化落地。Lyria最初于2023年作为谷歌AI音乐生成实验项目发布，此后经历了Lyria 2、Lyria 3、Lyria 3 Pro和Lyria 3.5等多个版本的快速迭代。Lyria 3于2026年2月18日在Gemini中面向所有用户开放测试，支持从文本和图像提示生成44.1kHz立体声音频，时长约30秒。Lyria 3 Pro于2026年3月25日发布，将单段音乐生成时长从30秒延长至3分钟，支持通过提示词精细控制前奏、主歌、副歌、桥段等段落结构。Lyria 3.5于2026年9月4日上线，在Gemini应用和Gemini API中提供更具表现力的人声和更丰富的编曲，支持用户选择人声或器乐风格、短曲目或长曲目。
第二部分：各版本详细对比与拆解
一、AudioLM 核心技术拆解
AudioLM的核心创新在于混合tokenization方案。现有音频tokenizer在重建质量和长期结构之间提供不同的权衡，AudioLM通过将语义token和声学token相结合，实现了两者的兼顾。语义token来自预训练的掩码语言模型（w2v-BERT）的离散化激活，捕捉音频的长期结构和语义内容；声学token来自SoundStream神经音频编解码器的离散码，负责高质量合成。模型通过链式Transformer模型按层次从语义token到细粒度声学token进行建模。
在语音续写任务中，AudioLM能够从3秒的提示音频出发生成语法正确、语义连贯的内容，同时保持说话人的身份、韵律、口音和录音条件。更值得注意的是，AudioLM在仅训练语音数据的情况下，展示了生成连贯钢琴音乐续写的能力——“尽管训练中没有任何音乐符号表示”。
AudioLM的模型权重并未公开发布，仅通过研究演示页面展示了其能力。社区维护了多个非官方PyTorch实现，如lucidrains/audiolm-pytorch，提供了可运行的替代方案。
二、MusicLM 核心技术拆解
MusicLM将AudioLM的多阶段自回归建模框架扩展至文本条件音乐生成。其分层序列到序列建模架构将音乐生成过程分解为多个层次——结构、旋律和单独的声音——为每个层次生成序列。
MusicLM整合了三个预训练模型：SoundStream作为神经音频编解码器处理音频，w2v-BERT用于建模音频的中间语义表示，MuLan作为文本-音乐联合嵌入模型用于提取目标音频序列的表示或将文本与音频在嵌入空间中对齐。这些离散音频表示最终与AudioLM的自回归建模框架相结合，实现基于文本的音乐生成。
MusicLM可以生成最长约5分钟的音乐，支持“故事模式”创作随时间变化风格的音乐。2023年底，谷歌通过AI Test Kitchen平台提供了该模型的限量体验版，用户需要注册等待列表，生成的音乐为纯器乐且可提供同一提示的多个变体供选择。MusicLM同样未公开发布预训练模型权重，社区维护了open-musiclm和musiclm-pytorch等非官方实现。
三、Lyria 系列核心技术拆解
Lyria是谷歌将音频生成技术从研究推向产品的关键载体。Lyria 3在音频保真度上相比Lyria 2实现了显著提升，强调了生成音频的技术质量和清晰度。Lyria 3支持从文本和图像输入生成30秒曲目，输出44.1kHz立体声，支持韩语等语言。
Lyria 3 Pro是系列的架构分水岭版本。它将单段音乐生成时长从30秒延长至3分钟，核心突破在于歌曲结构理解能力——模型能够理解音乐结构，用户可以通过提示词指定前奏、主歌、副歌、桥段等段落，对完整歌曲进行精细控制。在实测中，Lyria 3 Pro对图片的理解比较清晰，能够迅速捕捉画面元素并生成匹配的音乐，整体音质清晰、自然流畅，很有律动感和层次感。在国风歌曲测试中，模型对副歌、主歌的交代很明白，提示词理解清晰，能够明显听到笛子声，歌声也很有情绪。
Lyria 3.5于2026年9月上线，是系列当前最新版本。它在人声表现力和编曲丰富度上进一步提升，允许用户在Gemini应用中选择或描述流派、在人声与器乐风格之间切换，并提供了从背景音乐到定制生日曲目的模板。Lyria 3.5在Google Flow Music中面向艺术家开放，在Google AI Studio中面向开发者开放。
四、定价体系对比
Lyria 3系列通过Gemini API和Vertex AI提供付费服务。Lyria 3 Clip（30秒片段）定价为$0.04/首，Lyria 3 Pro（完整歌曲）定价为$0.08/首。在fal.ai平台上，Lyria 3的模型ID为fal-ai/lyria3，定价同样为$0.04/音频。Replicate平台上Lyria 3 Pro的定价为$0.08/输出音频文件，约可生成12个文件/美元。Lyria 3.5上线后，官网文档暂未发现新的定价信息更新。
AudioLM和MusicLM均未提供商业API。AudioLM的模型权重不公开，仅通过研究演示页面展示能力。MusicLM同样未公开发布预训练模型，仅通过AI Test Kitchen提供限量体验。
第三部分：为什么分这么多版本？
一、从“框架验证”到“能力扩展”再到“产品集成”的三级递进
AudioLM、MusicLM和Lyria的版本分化遵循一条清晰的“框架验证—能力扩展—产品集成”递进路径。AudioLM解决了“能否用语言建模方法生成高质量音频”的问题，以混合tokenization方案和分层Transformer架构验证了技术路线的可行性，在60,000小时语音数据上训练后实现了语音续写和钢琴音乐续写。MusicLM解决了“能否用文本条件控制音乐生成”的问题，将AudioLM的自回归框架扩展至包含文本调节，通过MuLan文本-音乐联合嵌入实现文本到音乐的生成。Lyria系列解决了“能否将音频生成技术产品化”的问题，将前沿研究转化为Gemini、Vertex AI、Google Vids等产品中的可调用能力。
这一递进的逻辑在于：音频生成的应用场景是分层的。AudioLM面向研究验证，关注的是技术可行性；MusicLM面向学术探索，关注的是文本条件的音乐生成能力；Lyria面向产品落地，关注的是音乐结构控制、输出质量和可访问性。每个版本对应的能力深度不同，用户可以根据实际场景选择。
二、AudioLM和MusicLM未公开发布背后的安全与版权考量
AudioLM和MusicLM均未公开发布模型权重，这一决策反映了谷歌在安全与版权方面的审慎权衡。MusicLM的百科条目明确指出，由于训练数据基于现有歌曲存在版权风险，且生成的音乐中约有1%直接复制训练数据，歌词生成能力有限，谷歌表示目前没有立即公开发布MusicLM的计划。AudioLM同样仅通过研究演示页面展示能力，模型权重不对外公开。
Lyria的推出代表了谷歌在版权问题上的策略转变。谷歌展示了“当它选择时，可以从授权来源精心策划大型音乐训练语料库”。这一转变的核心在于：谷歌通过与音乐产业建立授权合作关系，解决了训练数据的版权合规问题，使Lyria能够以产品形式公开发布。
三、从“纯器乐”到“人声歌词”的能力扩展
MusicLM生成的是纯器乐，不包含人声和歌词。Lyria 3 Pro则支持生成包含人声和歌词的完整歌曲，歌词由AI即时创作。在实测中，Lyria 3 Pro生成的国风歌曲歌词“写的一般，不怎么押韵，语言质感稍差了一些”，但音乐本身“听着还是不错的”。Lyria 3.5进一步提升了人声表现力和歌词质量。
这一能力扩展的驱动力来自产品化需求。纯器乐适用于背景音乐和配乐场景，但更广泛的音乐创作场景需要人声和歌词。Lyria 3.5的发布公告特别强调了“更具表现力的人声”，表明人声质量已成为Lyria系列的核心竞争维度。
四、从“研究模型”到“产品生态”的战略升维
Lyria系列的版本分化最终服务于谷歌从“音频生成研究”向“音乐AI产品生态”的战略升维。Lyria 3 Pro发布时，谷歌将模型同步铺进Vertex AI、Google AI Studio与Gemini API、Google Vids、Gemini应用以及ProducerAI等多个产品平台，覆盖从企业级开发到个人创作的全链路场景。Lyria 3.5进一步扩展至Google Flow Music和Google Vids。
这一生态整合的核心价值在于：音乐生成不再是孤立的功能，而是嵌入到视频创作、应用开发和内容生产流程中的基础能力。格莱美获奖制作人Yung Spielburg已将Lyria应用于谷歌DeepMind短片《Dear Upstairs Neighbors》的配乐创作流程，DJ及制作人François K则通过迭代方式使用Lyria创作新歌。传奇音乐人Wyclef Jean也在其曲目《Back From Abu Dhabi》中使用了Lyria 3进行实时编排实验。
第四部分：最著名版本——Lyria 3 Pro API 接入实战
Lyria 3 Pro是谷歌Lyria系列中功能最完整、结构控制能力最强的版本，支持从文本和图像输入生成最长3分钟的完整歌曲，并可通过提示词精细控制段落结构。以下为完整的API接入步骤。
步骤一：环境准备与API密钥获取
前置条件：
Google Cloud账号（访问 console.cloud.google.com 注册）
已开通Vertex AI API和Gemini API
Python 3.8+ 开发环境
获取API密钥：
登录Google Cloud Console
在Vertex AI或Gemini API控制台中创建API密钥
或通过Google AI Studio（aistudio.google.com）获取API Key
步骤二：安装SDK与配置环境
bash
python3 -m venv lyria_env
source lyria_env/bin/activate
pip install google-genai
python
from google import genai
client = genai.Client(api_key="your-api-key")
步骤三：基础音乐生成调用
python
response = client.models.generate_content(
model="lyria-3-pro-preview",
contents="Create a 2-minute folk song with acoustic guitar, "
"gentle male vocals, and lyrics about wandering through a forest at dawn."
)
# 保存生成的音频
with open("output.wav", "wb") as f:
f.write(response.audio.data)
Lyria 3 Pro的模型ID为 lyria-3-pro-preview，支持文字和图片输入，输出44.1kHz立体声音频，最长3分钟。
步骤四：使用段落结构控制
Lyria 3 Pro的核心特性是歌曲结构理解能力。用户可以通过提示词指定前奏、主歌、副歌、桥段等段落：
python
response = client.models.generate_content(
model="lyria-3-pro-preview",
contents="""Create a 3-minute pop song with the following structure:
- Intro: soft piano melody, 15 seconds
- Verse 1: female vocals, storytelling tone, 30 seconds
- Chorus: uplifting, full band, 30 seconds
- Verse 2: building energy, 30 seconds
- Bridge: stripped back, emotional, 20 seconds
- Chorus: final, powerful, 30 seconds
- Outro: fading piano, 15 seconds
Lyrics about overcoming challenges and finding hope."""
)
步骤五：从图片生成音乐
Lyria 3 Pro支持从图片输入生成匹配的音乐：
python
from PIL import Image
image = Image.open("beach_sunset.jpg")
response = client.models.generate_content(
model="lyria-3-pro-preview",
contents=[
"Generate music that matches the mood and atmosphere of this image.",
image
]
)
在实测中，向Lyria提供一张海边旅游照片后，模型迅速捕捉到了画面中海鸥这一元素，生成的歌曲采用电吉他作为主旋律，加入了海鸥的叫声和浪花作为白噪音，还加入了沙锤打节奏，整体音质清晰、自然流畅，很有律动感和层次感。
步骤六：监控与成本优化
关键指标监控：
生成时长：Lyria 3 Clip（30秒）/ Lyria 3 Pro（最长3分钟）
输出格式：44.1kHz立体声
定价：Lyria 3 Clip $0.04/首，Lyria 3 Pro $0.08/首
输入模态：文本 / 图片
降本策略：对快速原型和短片段验证使用Lyria 3 Clip（$0.04/首）；对需要完整歌曲结构的交付场景使用Lyria 3 Pro（$0.08/首）。Lyria 3.5上线后，Gemini应用中的短曲目和长曲目均可免费体验。
第五部分：不同版本的实践结果
案例一：格莱美制作人Yung Spielburg短片配乐（基于Lyria 3 Pro）
格莱美获奖制作人Yung Spielburg将Lyria应用于谷歌DeepMind短片《Dear Upstairs Neighbors》的配乐创作流程。这部短片是谷歌DeepMind团队的一个实验性项目，需要原创配乐来支撑叙事氛围。
实践成效：这一案例代表了Lyria在专业音乐制作场景中的能力验证。Yung Spielburg作为格莱美级别的制作人，其制作流程对音乐质量、结构控制和创作灵活性的要求远超普通用户。Lyria 3 Pro的段落结构控制能力使制作人能够在提示词中精确指定前奏、主歌、副歌和桥段，而非仅仅生成一段连续的音乐。这一能力使AI生成的音乐能够融入专业制作流程，作为灵感起点或素材基础，而非替代制作人的全部工作。
案例二：DJ François K迭代创作新歌（基于Lyria 3 Pro）
DJ及制作人François K通过迭代方式使用Lyria创作了一首即将发布的新歌。与一次性生成完整曲目不同，François K采用迭代工作流——先生成一段音乐，评估后调整提示词，再生成下一段，逐步逼近他想要的音乐方向。
实践成效：这一案例代表了Lyria在迭代式音乐创作场景中的工作流价值。专业音乐制作很少能一次完成，制作人需要在多个方向上探索、试听、调整。Lyria 3 Pro的3分钟生成时长和段落控制能力使制作人能够像使用DAW（数字音频工作站）一样，逐段生成和组合音乐素材，而非受限于30秒的片段长度。François K的使用方式验证了Lyria作为“AI音乐工作站组件”的定位——不是替代制作人，而是扩展制作人的创作工具集。
案例三：Wyclef Jean实时编排实验（基于Lyria 3）
传奇音乐人Wyclef Jean在其曲目《Back From Abu Dhabi》中使用了Lyria 3进行实时编排实验，特别探索了长笛编曲等纹理元素在实时交互中的表现。
实践成效：这一案例代表了Lyria在实时音乐创作实验场景中的探索价值。Wyclef Jean作为多次格莱美获奖的传奇音乐人，其对音乐纹理和编排的敏感度远超一般用户。Lyria 3的实时生成能力使Wyclef Jean能够在创作过程中即时听到不同编排方向的效果，从而快速迭代音乐构想。这一使用方式验证了Lyria从“音乐生成工具”向“实时创作伙伴”的定位延伸——音乐人可以在灵感涌现时立即听到AI生成的编排效果，而非等待传统制作流程的完整周期。
案例四：Gemini应用中的日常音乐创作（基于Lyria 3.5）
Lyria 3.5于2026年9月4日在Gemini应用和Gemini API中面向所有用户开放。用户可以通过文字描述或图片生成音乐，选择或描述流派，在人声与器乐风格之间切换，并使用模板快速生成背景音乐、定制生日曲目等。
实践成效：这一案例代表了Lyria在大众音乐创作场景中的民主化价值。传统音乐创作需要乐器技能、编曲知识和录音设备，而Lyria 3.5使普通用户仅需一段文字描述即可生成符合需求的音乐。Gemini应用的模板功能进一步降低了使用门槛——用户不需要理解音乐理论，只需选择“背景音乐”或“生日曲目”等场景标签，模型即可生成匹配的音乐。这一模式使音乐创作从“专业技能”扩展为“日常表达”，为普通用户提供了将想法转化为音乐的能力。
版权声明：本平台仅提供信息存储空间服务，用户发布内容不代表本站观点，交易风险自担；侵权违法内容请立即举报（邮箱：37996619@qq.com），本站接通知后先行屏蔽，责任由发布者承担。