Open-Sora Plan 是由北京大学-兔展AIGC联合实验室共同发起、旨在通过开源社区力量复现 OpenAI Sora 的视频生成项目，来自兔展、华为、鹏城实验室和开源社区伙伴均有深度贡献。项目于2024年3月正式启动，截至2026年已迭代至v1.5.0及后续的OSP-Next版本，GitHub标星超过1万，是全球AI爱好者关注的焦点项目之一。
从版本谱系来看，Open-Sora Plan已发展出以下主要版本线：
v1.0.0（2024年4月7日） ：项目首个里程碑版本，显著增强了视频生成质量和对文本的控制能力，能够生成1024×1024分辨率、10秒时长的高清视频，已支持国产AI芯片华为昇腾910b进行推理。
v1.1.0（2024年5月27日） ：全面开源，显著提升视频质量和长度，借助ShareGPT4Video的长视频标注能力进行训练。
v1.2.0（2024年7月24日） ：采用3D全注意力架构替代此前的2+1D架构，发布了真正的3D视频扩散模型，在4秒720p数据上训练。2024年8月13日推出v1.2.0 I2V模型，支持图生视频和首尾帧过渡生成。
v1.3.0（2024年10月16日） ：引入WFVAE、prompt refiner、数据过滤策略、稀疏注意力（Skiparse Attention）和桶训练策略，支持在24GB显存下生成93×480p视频。这是首次将稀疏化attention结构引入视频生成领域。
v1.5.0（2025年6月5日） ：当前最强大的开源版本，全程在昇腾910系列加速卡上完成训练和推理，采用MindSpeed-MM训练框架适配并行策略。引入U型稀疏DiT架构SUV、8×8×8下采样率的WFVAE，模型规模扩展至8.5B，使用40M高质量视频数据训练，性能媲美HunyuanVideo。
OSP-Next（2026年5月22日） ：下一代版本，基于Wan 2.1的文本编码器/VAE骨干，14B参数，引入Skiparse-2D Attention、稀疏序列并行（SSP）、HiF8量化以及Mix-GRPO + LoRA强化学习后训练，首次为稀疏视频扩散模型建立RL管道。
Helios（2026年3月8日） ：基于项目生态的突破性视频生成模型，在单张H100 GPU上实现19.5 FPS的分钟级高质量视频合成，不依赖传统的长视频防漂移策略或标准视频加速技术。
第二部分：各版本详细对比与拆解
一、核心版本参数对比
维度 v1.0.0 v1.2.0 v1.3.0 v1.5.0 OSP-Next
发布时间 2024年4月 2024年7月 2024年10月 2025年6月 2026年5月
架构 2+1D DiT 3D全注意力 稀疏注意力+WFVAE SUV稀疏DiT Skiparse-2D + SSP
参数量 未公开 未公开 未公开 8.5B 14B
最高分辨率 1024×1024 720p 480p 576×1024 768p
最长时长 10秒 4秒 标准 121帧 81帧（5秒）
训练算力 华为昇腾 华为昇腾 华为昇腾 昇腾纯血版 昇腾 + NVIDIA
开源协议 Apache Apache Apache Apache Apache 2.0
核心突破 质量+文本控制 3D全注意力 稀疏注意力+WFVAE SUV+8.5B规模 RL后训练+量化
从v1.0.0到OSP-Next，Open-Sora Plan的演进轨迹清晰地反映了团队在“质量-效率-规模化”三个维度上的持续攻关。v1.0.0解决了“能生成什么”的问题；v1.2.0通过3D全注意力架构提升了时空一致性；v1.3.0通过稀疏注意力和WFVAE大幅降低了计算成本；v1.5.0通过SUV架构和数据/模型规模化实现了性能的质变；OSP-Next则引入了强化学习后训练和量化推理，将稀疏视频扩散模型推向了新的工程高度。
二、v1.5.0 核心技术拆解
SUV稀疏DiT架构是v1.5.0最核心的技术创新。在v1.3.0的Skiparse Attention基础上，团队将稀疏DiT扩展至U形变化的稀疏结构，使sparse DiT在保持速度优势的基础上取得与dense DiT相近的性能。根据昇腾社区的测试数据，SUV架构实现了计算速度提升45%、推理速度提升35%，同时通过U形变化的稀疏度提取多尺度交互信息，保证信息不损失。
8×8×8 WFVAE是v1.5.0在效率层面的关键升级。相比社区中广泛使用的4×8×8下采样率VAE，v1.5.0尝试了更高压缩率的8×8×8 WFVAE，在性能上媲美4×8×8 VAE的同时将latent shape减半，有效降低了attention序列长度。通过因果卷积缓存技术，WFVAE实现了无损时域分块推理，视频编码显存降低2-5倍，速度提升2倍。
数据与模型规模化方面，v1.5.0收集了来自Recap-DataComp-1B、Coyo700M、Laion-aesthetic的共1.1B图片数据，以及40M高质量视频数据，将模型规模扩展至8.5B。最终得到的模型呈现出不俗的性能，以8B级模型规模和40M视频样本达到了与HunyuanVideo（开源版）相当的性能水平。
Adaptive Grad Clipping优化是v1.5.0在训练稳定性方面的改进。相比v1.3.0中较复杂的丢弃污点batch策略，v1.5.0采用EMA方式维护grad norm的threshold并进行裁剪，更适应各种并行策略的需要。
三、OSP-Next 核心技术拆解
OSP-Next在v1.5.0的基础上引入了四项紧密协同的创新：
Skiparse-2D Attention沿H/W方向应用固定规则的2D稀疏注意力，质量接近3D全注意力，且原生兼容FlashAttention。
稀疏序列并行（SSP） 是与Skiparse-2D协同设计的并行策略，将跨rank通信减少75%，每block通信轮次从4降至1。
HiF8量化是动态精度8比特方案，首次实现8比特+稀疏的联合微调，在单张昇腾950PR上实现高达2.27倍加速，VBench仅下降0.4分。
Mix-GRPO + LoRA强化学习是首个针对稀疏视频扩散模型的RL管道，在稀疏模型之上进行RL后训练。
在端到端速度方面，OSP-Next在NVIDIA H200上对比Wan 2.1基线实现了1.53-1.64倍加速，在昇腾950PR上通过HiF8量化实现了1.69-2.27倍加速。VBench总分达到83.73%，Wan 2.1基线为83.69%，HiF8版本保持83.29%。
第三部分：为什么分这么多版本？
一、复现Sora的渐进式技术攻关路径
Open-Sora Plan的版本分化遵循一条清晰的“复现Sora”技术攻关路径。项目由北大深圳研究生院田永鸿教授和袁粒助理教授于2024年3月发起，初衷是“集结开源的力量”复现Sora的技术能力。从v1.0.0到OSP-Next，每一代版本都在解决Sora复现过程中的一个核心难题。
v1.0.0解决了“从无到有”的问题——首次让开源社区拥有了可生成1024×1024分辨率、10秒高清视频的模型。v1.2.0解决了“时空一致性”的问题——用3D全注意力替代2+1D架构，使视频的时空建模更加连贯。v1.3.0解决了“计算效率”的问题——通过稀疏注意力和WFVAE，在24GB显存下即可运行93×480p视频生成，大幅降低了硬件门槛。v1.5.0解决了“性能对标”的问题——以8.5B模型规模在性能上媲美HunyuanVideo等更大规模的竞品。OSP-Next则解决了“工程可部署”的问题——通过量化、并行和RL后训练，使模型在生产环境中的推理效率和生成质量达到新的平衡。
二、国产算力生态的战略承载
Open-Sora Plan的版本分化还服务于国产AI算力生态的建设。项目从一开始就得到了华为昇腾和鹏城云脑的算力支持，v1.0.0即支持华为昇腾910b进行推理。到v1.5.0，项目实现了“完全基于华为昇腾训练（昇腾纯血版）”，全程在昇腾910系列加速卡上完成训练和推理。
这一战略意义在于：当OpenAI的Sora选择闭源时，Open-Sora Plan不仅复现了技术能力，还在国产算力平台上验证了从训练到推理的完整链路。v1.5.0采用MindSpeed-MM训练框架适配并行策略，通过TP/SP混合并行策略将内存占用降低75%，通过Encoder DP策略提升训练性能15%，通过昇腾CANN亲和算子将整体MFU提升170%。这些优化使国产算力平台能够承载大规模视频生成模型的训练任务，为国内AI基础设施的自主可控提供了技术验证。
三、开源社区的协同创新模式
Open-Sora Plan的版本分化还体现了开源社区的协同创新模式。项目由北大-兔展AIGC联合实验室共同发起，兔展、华为、鹏城实验室和开源社区伙伴深度参与。v1.3.0引入的Skiparse Attention是首次将稀疏化attention结构引入视频生成领域，这一创新随后在v1.5.0中被扩展为更完善的SUV架构。
社区还围绕项目开发了丰富的衍生工具。ComfyUI-OpenSoraPlan节点集使创作者能够在可视化界面中使用Open-Sora Plan生成视频，支持最新的1.3.0和1.2.0版本以及图生视频功能。NEDO项目基于Open-Sora Plan v1.3.0开发了text2video型视频生成基础模型，使用约16万视频数据进行训练，并添加了选择性编辑模块。这些社区贡献使Open-Sora Plan从“研究项目”成长为“生态系统”。
四、从“复现”到“超越”的战略升维
OSP-Next和Helios的发布标志着Open-Sora Plan从“复现Sora”向“超越Sora”的战略升维。OSP-Next基于Wan 2.1的文本编码器/VAE骨干，但引入了四项自主创新的核心技术，在VBench上达到83.73%的总分，略高于Wan 2.1基线的83.69%。Helios更是在单张H100上实现了19.5 FPS的分钟级高质量视频合成，不依赖传统长视频防漂移策略。这些成果表明，Open-Sora Plan已经从一个“追赶者”转变为“创新者”。
第四部分：最著名版本——Open-Sora Plan v1.5.0 本地部署实战
v1.5.0是Open-Sora Plan中功能最完整、性能最成熟的版本，8.5B参数、SUV稀疏DiT架构、8×8×8 WFVAE和昇腾纯血版训练使其成为当前开源视频生成的首选基座之一。以下为完整的本地部署步骤。
步骤一：环境准备与硬件规划
硬件配置基准：
推荐配置：华为昇腾910系列加速卡（v1.5.0全程昇腾训练）
GPU版本：8×NVIDIA H200或等效GPU集群（GPU版本正在开发中）
最低门槛：24GB显存可运行93×480p视频生成
内存：64GB DDR4及以上
存储：预留200GB SSD空间
软件环境清单：
操作系统：Ubuntu 22.04 LTS
CANN 8.0.1
PyTorch 2.0+
MindSpeed-MM训练框架
步骤二：克隆仓库与创建环境
bash
git clone https://github.com/PKU-YuanGroup/Open-Sora-Plan.git
cd Open-Sora-Plan
conda create -n opensora python=3.8 -y
conda activate opensora
pip install torch==1.13.1+cu117
pip install diffusers==0.27.2 gradio==4.0.0 einops omegaconf==2.1.1
pip install pytorch_lightning==2.2.1 sentencepiece transformers==4.39.1 accelerate==0.28.0
步骤三：下载模型权重
bash
# 下载v1.5.0 WFVAE权重
huggingface-cli download LanguageBind/Open-Sora-Plan-v1.5.0 \
--include "wfae/*" \
--local-dir ./models/Open-Sora-Plan-v1.5.0
# 下载8.5B SUV去噪器权重
huggingface-cli download LanguageBind/Open-Sora-Plan-v1.5.0 \
--include "denoiser/*" \
--local-dir ./models/Open-Sora-Plan-v1.5.0
步骤四：使用MindSpeed-MM进行推理
v1.5.0推荐使用MindSpeed-MM框架进行推理：
bash
# 拉取MindSpeed-MM仓库
git clone https://gitee.com/ascend/MindSpeed-MM.git
cd MindSpeed-MM/examples/opensoraplan1.5
# 根据实际情况修改model_opensoraplan1_5.json中的权重路径
# 启动推理
bash scripts/inference.sh
步骤五：Python原生调用
python
import torch
from opensora.models import OpenSoraPlanPipeline
pipe = OpenSoraPlanPipeline.from_pretrained(
"./models/Open-Sora-Plan-v1.5.0",
torch_dtype=torch.float16
)
pipe.to("npu") # 或 "cuda"
prompt = "A fluffy white rabbit with soft, velvety fur and twitching "
"pink nose sits curiously near a rustic wooden fence, "
"surrounded by a lush garden of vibrant wildflowers"
video = pipe(
prompt=prompt,
num_frames=121,
height=576,
width=1024,
num_inference_steps=50,
guidance_scale=7.5
).frames[0]
from diffusers.utils import export_to_video
export_to_video(video, "output.mp4", fps=24)
步骤六：使用ComfyUI可视化工作流
bash
cd ComfyUI/custom_nodes
git clone https://github.com/bombax-xiaoice/ComfyUI-OpenSoraPlan
pip3 install -r ComfyUI-OpenSoraPlan/requirements.txt
# 重启ComfyUI
将模型文件放置到ComfyUI-OpenSoraPlan/models/目录下，在ComfyUI中加载Open-Sora Plan示例工作流，支持文生视频和图生视频两种模式。
步骤七：监控与调优
关键指标监控：
显存占用：93×480p约24GB，576×1024约40GB+
生成速度：SUV架构实现推理速度提升35%
MFU：昇腾CANN亲和算子使整体MFU提升170%
降本策略：对快速原型使用93×480p分辨率；对高质量输出使用576×1024。启用WFVAE的因果卷积缓存技术可将视频编码显存降低2-5倍、速度提升2倍。
第五部分：不同版本的实践成果
案例一：《黑神话·悟空》风格AI视频生成（基于Open-Sora Plan v1.3.0）
北大袁粒教授在朋友圈发布了一段《黑神话·悟空》第三结局的67秒预览视频：天命人选择不带金箍，同时要为芸芸众生向诸神讨一个公道，并解救了自己的心上人四妹。视频画面精美，与原游戏画风一致，玩家乍一看以为是新的隐藏结局。但事实上，这是由Open-Sora Plan生成的创作视频，而非《黑神话·悟空》官方发布。
实践成效：这一案例的核心价值在于验证了Open-Sora Plan在游戏内容二次创作场景中的能力。团队利用图生视频架构的持续迭代，能够从参考图像出发生成与原作画风高度一致的视频内容。袁粒表示，自2024年4月v1.0.0问世以来，Open-Sora Plan已迎来多次更新，数据集和训练规模越来越大，图生视频能力越来越强。这一案例在中文技术社区中引发了广泛关注，使Open-Sora Plan从“学术项目”进入了“大众创作工具”的视野。
案例二：NEDO DATAGRID视频生成基础模型（基于Open-Sora Plan v1.3.0）
日本NEDO（新能源产业技术综合开发机构）项目基于Open-Sora Plan v1.3.0开发了text2video型视频生成基础模型DATAGRID-Open-Sora-Plan-v1.3.0-0.16M，从无版权视频分享网站收集了约16万视频数据进行训练，并开发了选择性编辑模块。
实践成效：这一案例代表了Open-Sora Plan在跨国产学研合作中的落地价值。NEDO选择Open-Sora Plan v1.3.0作为基础模型，是因为其稀疏注意力架构在计算效率和生成质量之间取得了良好平衡，且Apache许可证允许商业使用和二次开发。项目最终目标是在FVD和LPIPS指标上达到特定标准，开发出具备选择性编辑能力的视频生成基础模型。这一案例验证了Open-Sora Plan在国际研究项目中的可用性和可扩展性。
案例三：昇腾MindSpeed-MM v1.5.0文生视频实测（基于Open-Sora Plan v1.5.0）
昇腾社区发布了基于MindSpeed-MM框架的Open-Sora Plan v1.5.0文生视频体验报告。测试提示词为：“一只毛茸茸的白兔，拥有柔软的天鹅绒般的毛发和抽动的粉色鼻子，好奇地坐在质朴的木栅栏旁，周围是茂盛的花园，鲜艳的野花和高草在微风中轻轻摇曳。兔子的大而富有表情的眼睛扫视着环境，反射着落日的金色光芒”。
实践成效：V1.5生成的视频相比V1.3更加清晰，画面生动且动作更加协调。这一案例的核心价值在于验证了Open-Sora Plan v1.5.0在国产算力平台上的完整推理能力——从模型加载到视频生成的全流程均在昇腾910系列加速卡上完成，无需依赖NVIDIA GPU。通过MindSpeed-MM的TP/SP混合并行策略，8.5B参数模型的内存占用降低75%，训练性能提升15%，MFU提升170%，使国产算力平台能够承载大规模视频生成任务。
案例四：Helios分钟级视频合成（基于Open-Sora Plan生态）
2026年3月，Open-Sora Plan团队发布了Helios——一个突破性的视频生成模型，在单张H100 GPU上实现19.5 FPS的分钟级高质量视频合成，不依赖传统的长视频防漂移策略或标准视频加速技术。
实践成效：这一案例代表了Open-Sora Plan从“复现Sora”向“超越Sora”的战略跃迁。传统长视频生成模型需要依赖复杂的防漂移策略来维持时序一致性，而Helios通过架构层面的创新在不使用这些策略的情况下实现了分钟级高质量合成。19.5 FPS的生成速度意味着生成速度快于实时播放，使“实时长视频生成”成为可能。这一成果发表于arXiv（论文编号2603.04379），代表了Open-Sora Plan生态在视频生成前沿技术上的持续探索。
版权声明：本平台仅提供信息存储空间服务，用户发布内容不代表本站观点，交易风险自担；侵权违法内容请立即举报（邮箱：37996619@qq.com），本站接通知后先行屏蔽，责任由发布者承担。