美团LongCat团队在数字人视频生成领域的布局始于视频生成基座模型的积累。2024年10月，美团开源了LongCat-Video视频生成基座模型；2025年8月，开源了InfiniteTalk项目，凭借无限长度生成能力与精准的唇形、头部、表情及姿态同步表现，迅速成为语音驱动虚拟人领域的主流工具；2025年10月底，开源了LongCat-Video视频生成模型，尤其在长视频生成领域具备显著优势。在InfiniteTalk和LongCat-Video基座的良好基础上，LongCat团队正式推出了LongCat-Video-Avatar系列。
从版本谱系来看，LongCat-Video-Avatar已发展出两个主要版本：
LongCat-Video-Avatar 1.0（2025年12月18日） ：系列的开山之作，基于LongCat-Video基座打造，延续“一个模型支持多任务”的核心设计，原生支持Audio-Text-to-Video（AT2V）、Audio-Text-Image-to-Video（ATI2V）及视频续写等核心功能，在动作拟真度、长视频稳定性与身份一致性三大维度实现显著突破。1.0版本通过解耦无条件引导、参考跳跃注意力与跨块潜在特征拼接三项核心技术，分别突破长视频生成中“无声静默”“动作僵硬”与“身份漂移”三大技术壁垒。
LongCat-Video-Avatar 1.5（2026年5月22日） ：系列的分水岭版本，定位从“开源SOTA”走向“商业级应用”。1.5版本在唇形同步、物理合理性、长视频稳定性、多人互动及推理效率方面均实现全面升级。采用DMD蒸馏技术将生成步数从50步压缩至8步，推理效率提升约15倍，生成一段10秒视频仅需约1分钟。在770人参与的盲测中，其表现超过Kling Avatar 2.0、OmniHuman-1.5和HeyGen。
第二部分：各版本详细对比与拆解
一、核心版本代际对比
维度 LongCat-Video-Avatar 1.0 LongCat-Video-Avatar 1.5
发布时间 2025年12月18日 2026年5月22日
定位 开源SOTA级拟真 商业级实际应用
核心架构 LongCat-Video DiT基座 + Wav2Vec2音频编码器 Wan 2.1 VAE + umT5-XXL + Whisper-Large-v3 + 48-block Avatar DiT
参数量 约13.6B DiT 约13.6B DiT + 11B umT5 + 0.6B Whisper + 0.5B VAE
音频编码器 Wav2Vec2 Whisper-large
生成步数 50步 8步（DMD蒸馏）
推理效率 基准 提升约15倍
10秒视频耗时 数分钟 约1分钟
多人互动 基础支持 专项优化（说话者/聆听者区分）
手部稳定性 基础 GRPO逐帧对齐
主体类型 真人为主 真人、动漫、动物
开源许可 开源 MIT
1.0版本的核心贡献在于验证了“多任务统一模型”框架的可行性。它基于LongCat-Video基座，原生支持Audio-Text-to-Video、Audio-Text-Image-to-Video及视频续写三种生成模式，通过解耦无条件引导（Disentangled Unconditional Guidance）使虚拟人在静默状态下也能像真人一样自然眨眼、调整坐姿、放松肩膀；通过参考跳跃注意力（Reference Skip Attention）在融入参考图像视觉信息的同时避免僵硬伪影；通过跨块潜在特征拼接（Cross-Chunk Latent Stitching）消除长视频生成中的视觉质量退化。
1.5版本在1.0的基础上完成了系统性升级。音频编码器从Wav2Vec2升级为Whisper-large，凭借更大的参数量和更丰富的多语言先验，能够更细致地捕捉音素变化与发音节奏，提升了唇形同步与全身时序稳定性，减少长视频中的抖动、跳帧和身份漂移。龙猫团队构建了包含“离线标注”与“在线验证”的多阶段数据处理流程，并针对性注入三类增强数据：多人数据通过主动说话人检测消除多人场景下的音画歧义；静默数据筛选未说话视频让模型学习无语音状态下的自然微表情；情绪数据结合帧级情绪识别使模型理解语音与表情的深层关联。
1.5版本针对电商直播、产品展示等需要频繁露手的场景，引入了GRPO（人类偏好对齐），将奖励信号细化到逐帧层面，并加入首帧手部检测机制，显著缓解了手部畸变、局部结构崩塌以及动作不连贯等行业难题。
二、性能评测表现
美团基于EvalTalker构建了覆盖新闻、教育、娱乐等场景的综合基准，由770名评估者完成13,240条主观评分及10名专家的结构化分析。在物理合理性、时间稳定性、身份一致性和音视频协调性四个维度上，LongCat-Video-Avatar 1.5的雷达图面积处于领先水平。
用户偏好对比中，该模型相比Kling Avatar 2.0胜率为65.9%，相比OmniHuman-1.5胜率为61.1%，相比HeyGen胜率为54.3%。在多人场景中，其得分大幅领先InfiniteTalk；主体变形问题率仅为23.1%，跳帧问题率低至0.8%，均优于对比模型。
第三部分：为什么分这么多版本？
一、从“开源SOTA”到“商业级应用”的场景递进
LongCat-Video-Avatar的版本分化遵循一条清晰的“技术验证—商业落地”递进路径。1.0版本解决了“数字人视频生成能否达到开源SOTA水平”的问题，通过三项核心技术突破长视频生成中的“无声静默”“动作僵硬”与“身份漂移”三大壁垒，验证了多任务统一模型框架的可行性。1.5版本解决了“数字人视频生成能否真正投入商业使用”的问题，针对1.0版本存在的长视频跳帧、多人场景混乱、推理速度慢等“最后一公里”问题进行了系统性优化。
二、商业场景需求的直接驱动
美团做数字人的逻辑很直接——他们有海量的短视频内容需求，包括商家宣传片、骑手培训视频、客服数字人、直播带货等场景，全都需要数字人视频。与其一直购买别人的API，不如自己做一个。这不是“跨界”，这是“降本”。对美团来说，数字人不是副业，是刚需。
这一商业需求直接驱动了1.5版本在多个维度的针对性优化。电商直播和产品展示场景需要频繁露手，因此引入了GRPO逐帧手部对齐；多人对话场景需要准确区分说话者与聆听者，因此构建了多人对话训练数据；规模化部署需要低延迟和低成本，因此采用DMD蒸馏将推理效率提升15倍。
三、从“三模型并行”到“共享基座+LoRA”的架构重构
1.5版本用“一个共享基础模型 + 多个LoRA适配器”的架构替代了传统的三模型并行方案，大幅释放显存。这一架构重构使模型能够在消费级硬件上运行，进一步降低了部署门槛。Hugging Face社区已发布q4量化版本，仅需24GB显存即可运行，生成29帧视频约102秒。
四、开源生态的战略布局
LongCat-Video-Avatar系列采取MIT许可证开源，允许开发者直接部署在本地环境进行批量生成。美团龙猫大模型团队表示，希望该模型能成为一个可验证、可改进、可共建的技术基座，让开发者和创作者基于此探索更多应用边界。这一策略的价值在于：开源版本吸引了全球开发者构建应用生态，而美团自身在食品配送、直播电商等场景中的规模化应用则为模型提供了真实业务场景的验证。
第四部分：最著名版本——LongCat-Video-Avatar 1.5 本地部署实战
LongCat-Video-Avatar 1.5是当前旗舰版本，采用DMD蒸馏将生成步数压缩至8步，推理效率提升约15倍，支持真人、动漫、动物等多种主体和多人对话场景。以下为完整的本地部署步骤。
步骤一：环境准备与硬件规划
硬件配置基准：
推荐配置：NVIDIA GPU，显存24GB及以上（如RTX 3090/4090）
Apple Silicon方案：Mac Studio M系列芯片，24GB统一内存（q4量化版）
内存：32GB DDR4及以上
存储：预留50GB SSD空间（含模型权重约24-46GB）
软件环境清单：
操作系统：Ubuntu 22.04 LTS / macOS
Python 3.10 / 3.12
PyTorch 2.5+，CUDA 12.1+
步骤二：克隆仓库与创建环境
bash
git clone https://github.com/meituan-longcat/LongCat-Video.git
cd LongCat-Video
conda create -n longcat-video python=3.10
conda activate longcat-video
步骤三：安装依赖
bash
pip install -r requirements.txt
pip install -e .
步骤四：下载模型权重
bash
# 从Hugging Face下载1.5模型权重
huggingface-cli download meituan-longcat/LongCat-Video-Avatar-1.5 \
--local-dir ./models/LongCat-Video-Avatar-1.5
模型权重约46GB（bf16精度），q4量化版约24GB。
步骤五：基础单人视频生成
python
from longcat_video_avatar import LongCatAvatarPipeline
pipeline = LongCatAvatarPipeline.from_pretrained(
"./models/LongCat-Video-Avatar-1.5"
)
pipeline.to("cuda")
# 单人数字人视频生成
video = pipeline.generate(
image="portrait.png",
audio="speech.wav",
prompt="人物面带微笑，自然地说话，适当配合手势",
num_inference_steps=8, # DMD蒸馏8步
resolution="720p"
)
video.save("output.mp4")
步骤六：ComfyUI 工作流集成
bash
cd ComfyUI/custom_nodes
git clone https://github.com/smthemex/ComfyUI_LongCat_Avatar.git
cd ComfyUI_LongCat_Avatar
pip install -r requirements.txt
# 重启ComfyUI
将模型文件放置到 ComfyUI/models/ 对应目录下，在ComfyUI中搜索“LongCat Avatar”节点加载工作流。
步骤七：Apple Silicon MLX 部署
bash
git clone https://github.com/xocialize/longcat-avatar-mlx
cd longcat-avatar-mlx
python3.12 -m venv .venv
source .venv/bin/activate
./install.sh -y
# 下载q4模型（约24GB）
Mac Studio M系列芯片运行q4量化版，生成29帧视频约102秒。
步骤八：监控与成本优化
关键指标监控：
推理效率：8步DMD蒸馏，10秒视频约1分钟
显存占用：bf16约46GB，q4量化约24GB
跳帧率：低至0.8%
主体变形率：23.1%
降本策略：对快速原型使用q4量化版（24GB显存即可运行）；对高质量交付使用bf16精度。采用“一个共享基础模型 + 多个LoRA适配器”的架构可大幅释放显存。
第五部分：不同版本的实践结果
案例一：美团外卖客服数字人——24/7全天候服务（基于LongCat-Video-Avatar 1.5）
美团外卖客服场景中需要大量的数字人视频来提供全天候服务。LongCat-Video-Avatar 1.5在美团内部食品配送客服场景中部署为24小时数字客服代理，利用模型的长视频稳定性和多人互动能力，自然处理用户咨询、订单查询和投诉处理等场景。
实践成效：数字人客服实现了7×24小时不间断服务，能够以自然的语音和表情与用户互动，准确区分用户提问和自身回应。模型的长视频稳定性确保长时间运行中不出现画面冻结或身份漂移，跳帧问题率低至0.8%。
案例二：电商直播数字主播——多语言商品展示（基于LongCat-Video-Avatar 1.5）
在电商直播场景中，主播需要频繁切换中英双语介绍商品。LongCat-Video-Avatar 1.5在电商直播场景中部署为数字主播，上传商品图 + 录一段口播文案，自动生成带货视频，不用真人出镜，不用请模特，一天批量做几十条，多语言版本同时出。模型通过GRPO逐帧手部对齐机制，精准同步“iPhone”的爆破音与“苹果”的圆唇动作，手部畸变问题得到显著缓解。
实践成效：虚拟主播解决方案使内容生产效率提高5倍。模型支持广播、表演、唱歌、电商营销、多人对话、动画角色、动物角色等多种应用场景，基本覆盖了数字人视频的主流需求。
案例三：影视娱乐与知识教育场景测试（基于LongCat-Video-Avatar 1.0）
美团基于EvalTalker构建了覆盖新闻、教育、娱乐等场景的综合基准，在影视娱乐、新闻时事、日常生活和知识教育五大场景的单人对话测试中，LongCat-Video-Avatar 1.0在影视娱乐、日常生活和知识教育场景中表现最优，展现出在多样应用场景下的强泛化能力。
实践成效：1.0版本成为首个同时支持文字、图片、视频三种生成模式的全能选手，从口型精准到全身生动，虚拟人从此有了真正的生命力。通过解耦无条件引导，模型在说话间歇也能像真人一样自然眨眼、调整坐姿、放松肩膀。
版权声明：本平台仅提供信息存储空间服务，用户发布内容不代表本站观点，交易风险自担；侵权违法内容请立即举报（邮箱：37996619@qq.com），本站接通知后先行屏蔽，责任由发布者承担。