JoyAI-Echo 是京东探索研究院推出的长音视频生成与世界模型系列，2026年6月3日在京东全球科技探索者大会（JDD）上首次开源，短短三个月内完成了从长视频生成框架到可交互世界模型的跨越，形成了覆盖长时程音视频生成与实时可交互世界建模的完整产品矩阵。
从版本谱系来看，JoyAI-Echo 系列已发展出以下主要版本线：
JoyAI-Echo 1.0（2026年6月3日开源） ：系列的开山之作，定位为长音视频生成框架。引入智能“导演助理”Director Agent，内置专门的记忆库，能在多镜头生成过程中持续保存并调用角色的外观特征和说话人音色信息。该框架能够一次性生成长达5分钟的视频，实现跨镜头的音视频双重一致性，确保角色面部特征和说话音色在长时序中保持稳定，并可在流式延迟约束下实现实时超分，最高直接输出1472×2560分辨率的高清视频。2026年6月22日，1.0版本正式发布并保留在echo1.0分支上。
JoyAI-Echo 1.5（2026年8月28日发布） ：系列的核心升级版本。在1.0基础上实现了三项关键突破：支持10分钟以上长时程音视频持续生成；提供消费级GPU推理方案；新增Director Agent的完整能力。1.5版本基于音视频Memory Bank架构，在多镜头、长时程生成中保持人物形象、声音和故事线索连贯。模型通过长视频后训练实现最高7.5倍推理加速，仅需2张H200即可在480P下平均每秒生成24帧，实现1:1等时生成。1.5采用8步DMD生成器，基于LTX-2.3构建，提供BF16、FP8和FP4三种精度变体，通过统一的推理管道输出。
EchoWM（2026年8月26日发布，9月9日JDD大会正式开源） ：系列中的世界模型分支，全称为JoyAI-Echo WM（World Model）。它是实时可交互的世界模型，既能根据用户移动和视角变化持续生成世界，也能同步生成720P视频、环境音、音乐和语音，并支持第一人称、第三人称以及多轮连续交互，让AI生成的内容成为“可进入”的世界。EchoWM还提供了四步因果流式版本EchoWM-Flash，在WBench Navigation评测中与EchoWM位列前两名。
JoyAI-Video（预告，2026年10月发布） ：JDD大会上同期展示的新一代音视频基础模型，重点提升商业视频生成、物理规律呈现、第一人称视角和多镜头连续叙事能力，可应用于电商广告、短剧创作与具身智能演练等场景。
第二部分：各版本详细对比与拆解
一、JoyAI-Echo 1.0 与 1.5 核心对比
维度 JoyAI-Echo 1.0 JoyAI-Echo 1.5
发布时间 2026年6月3日 2026年8月28日
最长时长 5分钟 10分钟以上
基础架构 LTX-2.3 DiT LTX-2.3 DiT（8步DMD蒸馏）
推理精度 BF16 BF16 / FP8 / FP4
推理加速 标准 长视频后训练实现最高7.5倍加速
显存门槛 高显存GPU 消费级GPU推理方案
Director Agent 基础版 完整版（故事展开、分镜规划、生成审核、成片组装）
生成效率 标准 2张H200，480P下24fps，1:1等时生成
最高分辨率 1472×2560 1472×2560（超分）
核心定位 长视频生成框架 长时程音视频生成系统
JoyAI-Echo 1.0的核心突破在于解决了长视频生成中的“错误累积”问题——传统视频生成模型在生成较长视频时，角色面部和声音会随着时间推移逐渐漂移。1.0通过引入音视频Memory Bank架构，在多镜头生成过程中持续保存并调用角色的外观特征和说话人音色信息，实现了跨镜头的音视频双重一致性。同时，1.0支持通过自然语言指令对视频进行局部修改和非线性剪辑，“边聊边改”模式也支持在对话过程中调整生成内容。
1.5版本在1.0的基础上实现了三个维度的系统性升级。生成时长从5分钟扩展至10分钟以上；推理效率通过长视频后训练实现了最高7.5倍的加速，使2张H200即可在480P下实现1:1等时生成——这意味着生成1秒视频只需约1秒的计算时间；部署门槛通过提供消费级GPU推理方案大幅降低。
二、EchoWM 核心技术拆解
EchoWM代表了JoyAI-Echo系列从“生成内容”向“构建可交互世界”的战略升维。当前世界模型通常沿两条路线发展：一类能够根据用户操作持续生成画面，却缺少自然声音；另一类可以联合生成音视频，但用户难以持续进入并改变内容。EchoWM首次将两类能力在一套模型中打通。
原生联合音视频生成：EchoWM可原生联合生成720P视频、环境音、音乐和语音，使声音随场景、摄像机和主体运动同步变化。这意味着当用户在生成的虚拟世界中移动时，不仅画面会持续更新，环境音（如风声、脚步声）也会随之变化，实现真正的沉浸式体验。
统一相机意图控制：通过统一的“相机意图”接口，模型支持第一人称导航、第三人称摄像机与主体协同控制，以及多轮连续探索。用户可以在第一人称视角下自由行走，也可以切换到第三人称观察全局，系统会在多轮交互中保持世界的一致性。
WBench Navigation 评测表现：在涵盖158个多轮导航案例的WBench Navigation评测中，EchoWM以81.6分综合排名第一，一致性指标达到89.8，超越LongBot-World、HY-World等模型。腾讯研究院的分析指出，EchoWM的一致性89.8、交互性87.2，但“尚无显式持久三维记忆，长时生成仍可能漂移”。
三、系列架构与部署形态
JoyAI-Echo 1.5和EchoWM是两个独立的项目，各自拥有独立的环境、检查点和入口文件。EchoWM打包了自有的ltx-core和ltx-pipelines副本，安装其中一个项目不会影响另一个。
1.5版本提供了完整的推理管道，支持通过SGLang部署，单张高显存GPU即可运行832×480、121帧、8步生成的配置。社区已开发了ComfyUI节点实现，支持忠实BF16实现和多镜头音视频生成。ComfyUI节点提供三种内部阶段：编码→释放Gemma→加载DiT和VAE→去噪→解码，通过分阶段加载避免文本编码器和DiT同时占用显存。
第三部分：为什么分这么多版本？
一、场景适配：从“生成长视频”到“进入可交互世界”
JoyAI-Echo的版本分化遵循一条清晰的“生成能力-交互能力-世界构建”演进路径。1.0管长视频生成的从0到1，1.5管长时程生成与效率优化，EchoWM管可交互世界建模。三个版本对应的是AI内容生成领域三种截然不同的需求。
长视频生成解决的是“内容生产效率”问题——品牌营销团队需要快速产出高质量的多镜头视频素材，1.5的10分钟持续生成能力和Director Agent的自动分镜规划使这一需求得到满足。可交互世界建模解决的是“沉浸式体验”问题——游戏、数字人直播、具身智能仿真等场景需要用户能够“进入”AI生成的环境并自由探索，EchoWM的原生音视频生成与多轮交互能力正是为此设计。
二、技术路线跃迁：从DiT到DMD蒸馏再到世界模型
JoyAI-Echo的技术路线经历了三次明确跃迁。1.0基于LTX-2.3的DiT架构，通过Memory Bank机制解决跨镜头一致性问题。1.5引入8步DMD（Distribution Matching Distillation）蒸馏，将推理步数大幅压缩，同时通过长视频后训练实现最高7.5倍加速。EchoWM则彻底转向世界模型范式——不是“生成一段视频”，而是“持续生成一个可探索的世界”。
这一演进方向反映了京东探索研究院对AI内容生成趋势的判断：当视频生成质量达到一定水平后，用户的需求将从“看AI生成的视频”转向“进入AI生成的世界”。京东集团副总裁、京东探索研究院副院长段楠在JDD大会上明确表示，EchoWM让AI生成的内容从“可以看”进一步走向“可以进入、可以操作、可以听见”的全模态新阶段。
三、开源生态：以开放构建物理AI基础设施
JoyAI-Echo系列采取了全面的开源策略。1.0的代码和权重于2026年6月6日全部公开，1.5和EchoWM同样以开源形式发布。这一策略的核心逻辑是：开源版本作为技术标杆吸引开发者和研究者构建应用生态，而京东通过自身在零售、物流、医疗、工业、政务五大行业的场景落地实现商业价值。
EchoWM的开源尤其具有战略意义。京东已形成覆盖多模态模型、世界模型和具身模型的JoyAI基础模型矩阵，EchoWM作为世界模型的核心组件，为具身智能相关的仿真与训练提供技术支撑。京东云已与合作伙伴打造国产万卡集群，并规划建设十万卡集群，成为国内AI云领域自主可控的超大规模算力底座。
四、物理AI战略的深度推进
JoyAI-Echo系列的版本分化最终服务于京东“建设全球最大物理世界运营中心”的战略目标。京东集团技术委员会主席曹鹏在JDD大会上表示：“京东的AI不是在论文里诞生的，是在生产线、仓库、配送站，在供应链全流程中一单一单磨出来的。京东的供应链，是AI走向物理世界最好的训练场和第一站”。
围绕这一战略，京东启动了“物理AI加速计划”，在具身智能领域实现六项“全球第一”：两年内采集超1000万小时人类真实场景视频数据，建设全球最大的具身智能数据采集中心；未来5年布局80余个Robo Base机器人产业基地；5年内采购300万台机器人、100万台无人车及10万架无人机，打造全球最大规模的具身机器人应用军团。
第四部分：最著名版本——JoyAI-Echo 1.5 本地部署实战
JoyAI-Echo 1.5是系列中功能最完整、部署最友好的长时程音视频生成版本，支持10分钟以上持续生成、消费级GPU推理和Director Agent自动分镜。以下为完整的本地部署步骤。
步骤一：环境准备与硬件规划
硬件配置基准：
推荐配置：2×H200，480P下24fps，1:1等时生成
消费级配置：单张高显存GPU（如RTX 4090 24GB），FP8/FP4量化版本
内存：64GB DDR4及以上
存储：预留200GB SSD空间（多精度权重）
软件环境清单：
操作系统：Ubuntu 22.04 LTS
Python 3.10+
CUDA 12.1+
conda 环境管理
步骤二：克隆仓库与创建环境
bash
git clone https://github.com/jd-opensource/JoyAI-Echo.git
cd JoyAI-Echo
# 长视频生成环境
cd echo_longvideo
conda env create -f environment.yml
conda activate echo-long
步骤三：下载模型权重
bash
# 下载JoyAI-Echo 1.5权重（BF16/FP8/FP4三种精度可选）
huggingface-cli download jdopensource/JoyAI-Echo \
--local-dir ./models/JoyAI-Echo-1.5 \
--resume-download
# 消费级GPU推荐使用FP8或FP4量化版
huggingface-cli download jdopensource/JoyAI-Echo \
--include "fp8/*" \
--local-dir ./models/JoyAI-Echo-1.5-fp8
步骤四：启动推理服务
SGLang部署方案：
bash
# 安装SGLang diffusion依赖
uv pip install "sglang[diffusion]" --prerelease=allow
# 启动推理服务（单卡高显存配置）
JOY_ECHO_MODEL_PATH=./models/JoyAI-Echo-1.5 \
sglang serve \
--model-path "$JOY_ECHO_MODEL_PATH" \
--num-gpus 1 \
--port 30010
命令行推理：
bash
python inference.py \
--model-path ./models/JoyAI-Echo-1.5 \
--prompt "A curious raccoon walks through a sunlit forest path. \
The raccoon climbs down and opens the back door. \
It walks through a rainy alley under neon signs." \
--num-frames 121 \
--resolution 832x480 \
--steps 8 \
--output ./results
步骤五：ComfyUI工作流部署
bash
# 克隆ComfyUI自定义节点
cd ComfyUI/custom_nodes
git clone https://github.com/zhuang2002/ComfyUI_JoyAI_Echo.git
cd ComfyUI_JoyAI_Echo
pip install -r requirements.txt
# 重启ComfyUI
将模型文件放置到对应目录：DiT模型→models/unet/，VAE→models/vae/，音频编码器→models/audio_encoders/，文本编码器→models/text_encoders/。在ComfyUI中加载JoyAI-Echo示例工作流，通过RebelsJE_StagedPipeline节点→CreateVideo→SaveVideo完成生成。
步骤六：Director Agent 自动分镜
1.5版本的Director Agent可根据自然语言完成故事展开、分镜规划、生成审核与成片组装：
bash
python inference.py \
--model-path ./models/JoyAI-Echo-1.5 \
--prompt "一个关于咖啡师日常的故事" \
--director-agent \
--num-shots 6 \
--total-duration 600 \
--output ./results
步骤七：监控与调优
关键指标监控：
生成效率：480P下24fps，2张H200实现1:1等时生成
显存占用：FP8版本约30-40GB，FP4版本进一步降低
一致性指标：角色面部特征和音色在长时序中的保持率
降本策略：对快速原型使用FP4量化版和8步生成；对高质量输出使用BF16完整精度。ComfyUI的分阶段加载机制可避免文本编码器和DiT同时占用显存，在24GB显卡上实现约23GB的峰值占用。
第五部分：不同版本的实践成果
案例一：京东数字人直播7×24小时不间断带货（基于JoyAI-Echo + 京东数字人能力）
京东已将JoyAI-Echo的长视频生成能力与京东数字人直播能力深度整合。京东数字人已累计服务超45000家品牌，成本低至真人直播的1/10，7×24小时不间断带货，覆盖夜间流量低谷期，数字人平均转化率提升30%。
实践成效：新秀丽借助京东JoyAI大模型与自研的“数字人直播间复刻”技术，将优质直播内容转化为可长期使用的数字资产，公域流量占比超60%，直播间人均停留时长接近2分钟。JoyAI-Echo落地后进一步支持品牌生成更多长营销内容，使数字人直播从“单次录制、重复播放”升级为“持续生成、实时更新”的新模式。这一案例的核心价值在于验证了长音视频生成技术在电商直播场景中的规模化应用——不是“生成一段展示视频”，而是“持续生成可用的直播内容”。
案例二：EchoWM沉浸式可交互世界构建（基于EchoWM）
EchoWM在JDD大会现场展示了完整的可交互世界生成能力。依托原生音视频生成与持续交互能力，EchoWM为沉浸式内容创作、虚拟环境构建和智能体交互提供了新的世界模拟能力，可用于游戏、数字人直播等互动内容，并为具身智能相关的仿真与训练探索提供技术支撑。
实践成效：EchoWM的核心突破在于解决了世界模型“可交互性”与“音视频同步”两大能力长期割裂的问题。在WBench Navigation评测中，EchoWM以81.6分综合排名第一，一致性指标达到89.8，断层领先此前领跑的竞品。这意味着当用户在EchoWM生成的虚拟世界中自由探索时，场景中的物体不会因为视角变化而“漂移”，声音也会随场景和主体运动同步变化。EchoWM-Flash作为四步因果流式版本，进一步降低了实时交互的延迟门槛。这一案例代表了AI内容生成从“可看”向“可进入、可操作、可听见”的全模态跃迁。
案例三：京东JoyAI基础模型矩阵与物理AI战略（基于JoyAI-Echo全系列）
JoyAI-Echo系列是京东JoyAI基础模型矩阵的核心组成部分。该矩阵覆盖语音、图像、视频、实时交互、世界建模与具身智能等方向，推动AI从数字世界迈向物理世界，赋能零售、物流、工业、健康等核心业务。
实践成效：在零售领域，零售多模态模型服务图搜、智能导购和素材质检；在物流领域，物流超脑3.0以Agentic智能体框架连接决策、流程和物理执行；在医疗领域，京医千询3.0强化医疗影像分析、模拟问诊与可信推理；在工业领域，工业大模型深入专业选型、维保与CAD设计；在政务领域，政务大模型服务政策咨询、智能办公和数据分析。京东同期启动“物理AI加速计划”，规划建设十万卡国产算力集群，推进1000万小时具身数据采集，目标在数年内实现六项“全球第一”。这一案例代表了JoyAI-Echo从“独立模型”向“物理AI基础设施”的战略定位——世界模型和长视频生成能力为具身智能提供仿真训练环境，而京东在供应链、物流、零售领域的真实场景为模型提供了训练和验证的闭环。
版权声明：本平台仅提供信息存储空间服务，用户发布内容不代表本站观点，交易风险自担；侵权违法内容请立即举报（邮箱：37996619@qq.com），本站接通知后先行屏蔽，责任由发布者承担。