Pyramid-Flow是由北京大学、北京邮电大学和快手科技联合研发的开源视频生成模型，其核心技术“金字塔流匹配算法”（Pyramidal Flow Matching）由团队于2024年10月提出，论文发表于ICLR 2025。该模型的核心思路是将传统扩散模型的全分辨率去噪轨迹重新解释为一系列金字塔阶段——只有最后一个阶段在完整分辨率下运行，从而大幅降低计算成本。
从版本谱系来看，Pyramid-Flow已发展出以下主要版本线：
SD3初始化系列（2024年10月10日首发） ：这是Pyramid-Flow的首个公开版本，基于Stable Diffusion 3的结构初始化，提供384p和768p两个检查点。384p版本支持5秒视频生成@24FPS，768p版本支持最长10秒视频生成@24FPS。模型权重以开源形式发布，训练仅使用开源数据集，全程在20.7k A100 GPU小时内完成。
miniFLUX系列（2024年10月29日/11月13日） ：团队将模型结构从SD3切换为mini FLUX，以修复SD3初始化版本中存在的人体结构问题。新模型从零训练，在人体结构和运动稳定性方面有显著提升。miniFLUX模型支持1024p图像、384p和768p视频生成，SD3-based模型仅支持768p和384p视频生成。
训练代码发布（2024年10月29日） ：团队同步开源了Video VAE和DiT的训练代码，以及从零训练的新的模型检查点。
ComfyUI集成系列 ：社区开发者kijai为Pyramid-Flow开发了ComfyUI包装节点（ComfyUI-PyramidFlowWrapper），支持自动下载模型文件，用户无需手动配置即可生成10秒768P分辨率、24帧的高质量视频。此外还有AIFSH开发的PyramidFlow-ComfyUI节点集。
第二部分：各版本详细对比与拆解
一、SD3系列与miniFLUX系列核心对比
维度 SD3-384p SD3-768p miniFLUX-384p miniFLUX-768p
发布日期 2024年10月10日 2024年10月10日 2024年10月29日 2024年11月13日
基础结构 SD3 SD3 miniFLUX miniFLUX
视频最长时长 5秒 10秒 5秒 10秒
帧率 24 FPS 24 FPS 24 FPS 24 FPS
图像分辨率 — — 1024p 1024p
人体结构 存在结构问题 存在结构问题 显著改善 显著改善
运动稳定性 基础 基础 显著提升 显著提升
显存需求 约26GB 约40GB 约8GB（CPU offload） 约12GB（ComfyUI）
推理速度 56秒/5秒视频 — — —
开源协议 开源 开源 开源 开源
SD3系列是Pyramid-Flow的首发版本，基于Stable Diffusion 3的结构初始化。SD3结构在图像生成中表现优异，但在视频生成中存在人体结构问题——手臂、手指等部位容易出现畸形。384p版本在推理时可生成5秒、384p视频，耗时仅56秒，与许多全序列扩散模型持平甚至更快。
miniFLUX系列是团队对SD3结构问题的直接回应。团队将模型结构从SD3切换为mini FLUX，从零开始训练，在人体结构和运动稳定性方面有显著改善。miniFLUX模型新增了1024p图像生成能力，视频生成覆盖384p和768p两个规格。
二、金字塔流匹配算法深度拆解
Pyramid-Flow最核心的技术创新是金字塔流匹配算法，它从根本上改变了视频扩散模型的计算范式。
传统方法的瓶颈：现有视频扩散模型在整个去噪过程中都在全分辨率下运行，这意味着在早期高噪声阶段，模型仍然在处理大量无意义的细节信息，浪费了大量计算资源。虽然级联架构（先生成低分辨率再超分）避免了直接在全分辨率下训练，但多个子模型的独立优化阻碍了知识共享，牺牲了灵活性。
金字塔流匹配的核心思路：Pyramid-Flow将去噪轨迹重新解释为一系列金字塔阶段。在金字塔的顶层（最低分辨率），模型快速捕捉视频的整体结构和运动趋势；随着金字塔层级向下，分辨率逐步提升，模型在低层级建立的基础上细化细节。只有最后一个阶段在完整分辨率下运行，从而将计算集中在最需要精细处理的阶段。不同金字塔阶段的流通过精心的设计相互连接，保持连续性。
自回归时间金字塔：Pyramid-Flow还设计了自回归视频生成机制，通过时间金字塔压缩全分辨率历史信息。这意味着模型在生成长视频时，不需要保留所有历史帧的全分辨率表示，而是通过时间维度的金字塔压缩来降低内存占用，使10秒长视频生成成为可能。
端到端单DiT优化：整个框架使用单一的Diffusion Transformer进行端到端优化，而非多个独立子模型的级联。这一设计使知识在不同分辨率阶段之间得以共享，训练收敛更快，推理效率更高。
三、token压缩效果与训练效率
金字塔流匹配的一个直接成果是token数量的显著压缩。根据VentureBeat的报道，Pyramid-Flow将token数量降低了4倍，这意味着训练和推理的计算量都相应减少。模型在20.7k A100 GPU小时内完成了训练，这一效率在视频生成模型中处于领先水平。
四、推理效率与部署门槛对比
部署方式 显存需求 适用场景
SD3-384p 约26GB 单卡A100/H100
SD3-768p 约40GB 多卡或高显存单卡
miniFLUX + CPU offload <8GB 消费级GPU
miniFLUX + ComfyUI 10-12GB RTX 4070/4080
多GPU推理 支持 显著加速
miniFLUX版本的部署门槛远低于SD3系列。通过CPU offloading技术，miniFLUX可以在8GB以下显存中运行，在ComfyUI中仅需12GB显存即可正常使用。多GPU推理和CPU offloading均在2024年10月13日的更新中得到支持。Replicate平台上的Pyramid-Flow运行在Nvidia A100 80GB上，通常6分钟内完成预测。
第三部分：为什么分这么多版本？
一、SD3到miniFLUX的结构切换：解决人体结构问题
Pyramid-Flow从SD3到miniFLUX的版本切换不是简单的迭代，而是对SD3结构固有缺陷的针对性修复。SD3的架构在图像生成领域表现优秀，但在视频生成场景中，其注意力机制和位置编码设计对人体结构的建模能力不足，导致手臂、手指等部位容易出现畸形。团队在2024年10月29日的更新中明确说明了切换原因：“We have switched the model structure from SD3 to a mini FLUX to fix human structure issues”。miniFLUX架构在人体结构建模方面具有更好的归纳偏置，从零训练后显著改善了运动稳定性和人体结构准确性。
二、场景适配：从5秒到10秒的分辨率分层
Pyramid-Flow的384p和768p版本分化遵循清晰的“时长-分辨率-硬件门槛”匹配逻辑。384p版本管快速原型和草稿迭代，5秒视频在56秒内生成，适合创意验证阶段。768p版本管高质量交付，10秒视频@24FPS的输出达到了社交媒体和短视频平台的内容标准。两者共享同一套金字塔流匹配算法和端到端DiT框架，用户无需更换技术栈即可根据需求切换版本。
三、开源战略：完全开源构建开发者信任
Pyramid-Flow采取了完全开源的策略。模型权重和推理代码在GitHub和Hugging Face上完全开放，训练代码（包括Video VAE和DiT的训练代码）也于2024年10月29日开源。模型训练仅使用开源数据集，这一选择在视频生成模型中并不常见——许多模型依赖私有数据集或商业授权数据。完全开源使研究者和开发者能够复现、微调和二次开发，ComfyUI社区的快速集成正是这一策略的直接成果。
四、训练效率的战略价值
Pyramid-Flow在20.7k A100 GPU小时内完成训练，这一效率在视频生成模型中处于领先水平。作为对比，许多同级别视频模型的训练成本远高于此。金字塔流匹配通过token压缩和阶段化计算实现了训练效率的显著提升，使中小型团队和学术机构也能够参与视频生成模型的训练和微调，降低了该领域的研究门槛。这一效率优势是Pyramid-Flow版本设计的核心考量——不是“用更多算力堆出更好效果”，而是“用更聪明的算法在更少算力下达到同等效果”。
第四部分：最著名版本——Pyramid-Flow miniFLUX-768p 本地部署实战
Pyramid-Flow miniFLUX-768p是系列中功能最完整、部署最友好的版本，支持10秒768p@24FPS视频生成、1024p图像生成、文本和图像双输入，通过CPU offloading可在8GB以下显存运行。以下为完整的本地部署步骤。
步骤一：环境准备与硬件规划
硬件配置基准：
最低配置：NVIDIA GPU，显存8GB以下（启用CPU offloading）
推荐配置：RTX 4070 12GB及以上（ComfyUI直接运行）
多GPU：支持多卡推理，显著加速
内存：32GB DDR4及以上
存储：预留30GB SSD空间（模型约27GB）
软件环境清单：
操作系统：Ubuntu 22.04 / Windows 10/11
Python 3.8.10（官方推荐版本）
PyTorch 2.1.2
ComfyUI最新版本
步骤二：安装ComfyUI并部署Pyramid-Flow节点
方案A：ComfyUI Manager一键安装（推荐）
在ComfyUI中打开Manager，搜索“PyramidFlow”或“Pyramid Flow Wrapper”，选择kijai开发的ComfyUI-PyramidFlowWrapper进行安装。
方案B：手动安装
bash
cd ComfyUI/custom_nodes
git clone https://github.com/kijai/ComfyUI-PyramidFlowWrapper.git
# 重启ComfyUI
步骤三：下载模型权重
bash
# 从Kijai的仓库下载ComfyUI适配版模型
huggingface-cli download Kijai/pyramid-flow-comfy \
--local-dir ./models/pyramid-flow-comfy \
--resume-download
# 或从官方仓库下载miniFLUX模型
huggingface-cli download rain1011/pyramid-flow-miniflux \
--local-dir ./models/pyramid-flow-miniflux
模型文件放置路径：主模型→ComfyUI/models/diffusion_models/，VAE→ComfyUI/models/vae/。
步骤四：启动ComfyUI并加载工作流
bash
python main.py --listen 0.0.0.0 --port 8188
浏览器访问 http://localhost:8188，加载Pyramid-Flow示例工作流。关键参数配置：
分辨率：768p（1280×768）
时长：10秒（240帧@24fps）
采样步数：30-50步
步骤五：Python原生调用
python
import torch
from PIL import Image
from pyramid_dit import PyramidDiTForVideoGeneration
from diffusers.utils import load_image, export_to_video
torch.cuda.set_device(0)
model_dtype, torch_dtype = 'bf16', torch.bfloat16
model = PyramidDiTForVideoGeneration(
'PATH', # 模型检查点目录
model_dtype,
model_variant='diffusion_transformer_768p'
)
model.vae.enable_tiling()
prompt = "A movie trailer featuring the adventures of the 30 year old space man "
"wearing a red wool knitted motorcycle helmet, blue sky, salt desert, "
"cinematic style, shot on 35mm film, vivid colors"
frames = model.generate(
prompt=prompt,
num_inference_steps=[20, 20, 20],
video_num_inference_steps=[10, 10, 10],
height=768,
width=1280,
temp=16,
guidance_scale=9.0,
video_guidance_scale=5.0,
output_type="pil",
save_memory=True,
)
export_to_video(frames, "output.mp4", fps=24)
步骤六：启用CPU Offloading（低显存方案）
对于显存不足的场景，启用CPU offloading可在8GB以下显存运行：
python
model.enable_sequential_cpu_offload()
或使用命令行参数：
bash
python inference.py \
--model_path ./models/pyramid-flow-miniflux \
--prompt "你的提示词" \
--cpu_offload \
--height 768 \
--width 1280
步骤七：监控与调优
关键指标监控：
显存占用：miniFLUX-768p约12GB（ComfyUI），CPU offload后<8GB
生成速度：384p约56秒/5秒视频，768p约2-4分钟/10秒视频
GPU利用率：目标>80%
降本策略：对快速原型使用384p分辨率；对高质量交付使用768p。多GPU推理可进一步加速生成。
第五部分：不同版本的实践结果
案例一：MindCross脑信号到视频重建（基于Pyramid-Flow Model）
MindCross项目将Pyramid-Flow作为其视频生成模块的核心组件，用于从fMRI脑信号重建视频。研究团队使用Pyramid-Flow的text-to-video管道，将脑信号预测的文本嵌入转换为视频内容。
实践成效：MindCross在SEED-DV等数据集上的跨被试视频重建任务中取得了可用的结果。研究团队指出Pyramid-Flow只能生成5:3比例的视频，因此对16:9的真值视频进行了中心裁剪以适配评估。这一案例代表了Pyramid-Flow在脑机接口与神经科学场景中的独特价值——其高效的自回归生成能力使脑信号到视频的实时解码成为可能，而这在传统全序列扩散模型中由于计算成本过高而难以实现。
案例二：ComfyUI社区低显存视频生成工作流（基于Pyramid-Flow miniFLUX）
社区开发者基于Pyramid-Flow miniFLUX构建了多种ComfyUI工作流。其中“FAST Image To Video”工作流在Civitai上获得了大量关注，下载量超过6.6K，支持快速图生视频和自动垂直/水平外绘。
实践成效：社区实测显示，Pyramid-Flow在ComfyUI中仅需12GB显存即可正常使用，模型总大小约27GB，首次运行工作流时自动下载。通过INT8量化，Pyramid-Flow可在8G显存的云环境中运行。这一案例代表了Pyramid-Flow在消费级硬件视频创作场景中的实用价值——RTX 4070级别的显卡即可生成10秒768p的高质量视频，使个人创作者和企业团队无需昂贵的A100集群即可进行视频生成。
案例三：Pyramid-Flow作为视频生成基准模型（基于SD3-384p）
Pyramid-Flow已被多个学术项目采用为视频生成基准模型。在FIVE（Flow-based Video Editing）项目中，研究者将Pyramid-Flow与Wan2.1一起作为rectified flow文本到视频生成模型进行适配，引入FlowEdit实现视频编辑。在M4V项目中，研究者以PyramidFlow为基线方法，M4V实现了与之相当的总分（81.55% vs 81.61%），同时显著降低了计算成本。
实践成效：Pyramid-Flow被选为学术基准模型本身就是一个重要信号——它表明该模型在效率与质量之间取得了被学界认可的平衡。研究者选择Pyramid-Flow作为基线，是因为其开源特性、训练效率和生成质量的可复现性。这一案例代表了Pyramid-Flow在学术研究与算法创新场景中的基础设施价值——它不仅是一个可用的视频生成工具，更是一个可供研究者在此基础上开发新方法的技术平台。
版权声明：本平台仅提供信息存储空间服务，用户发布内容不代表本站观点，交易风险自担；侵权违法内容请立即举报（邮箱：37996619@qq.com），本站接通知后先行屏蔽，责任由发布者承担。