第一部分:Genmo Mochi / ComfyUI-Mochi 版本全景概览
Genmo Mochi 1 是由美国AI公司 Genmo 于2024年10月22日发布的开源视频生成模型,基于创新的 Asymmetric Diffusion Transformer(AsymmDiT)架构,拥有100亿参数,是当时公开发布的最大开源视频生成模型。Genmo 团队核心成员包括 DDPM、DreamFusion、Emu Video 等项目的核心贡献者,公司于发布同期完成由 NEA 领投的2840万美元A轮融资。

视频大模型 Genmo Mochi / ComfyUI-Mochi各个版本对比
Mochi 1 以 Apache 2.0 许可证开源,允许个人和商业用途免费使用、修改和集成,这在视频生成领域极为罕见——同期大多数竞品仍为闭源API服务。


从版本谱系来看,Mochi 1 的版本演进与大多数模型不同——它并非通过模型权重迭代来划分版本,而是以“基础模型+社区生态”的模式形成版本矩阵:


Mochi 1 Preview 基础版(2024年10月22日) :系列的唯一官方模型权重版本,10B参数AsymmDiT架构,480p分辨率,最高30fps,最长5.4秒视频。官方文档将其定位为“研究预览版”,明确标注了当前限制:最大480p分辨率、极端运动场景偶发视觉畸变、动画风格表现欠佳。


Mochi 1 HD(预告未发布) :Genmo在发布时宣布“Mochi 1 HD 将于今年晚些时候推出”,但截至2026年9月,后续模型仍未发布。一篇2026年4月的日本技术评测明确指出“Genmo Mochi 1自2024年10月公开以来,后继模型未再推出”。


ComfyUI-MochiWrapper(社区生态版) :由社区开发者Kijai开发的ComfyUI集成节点,使Mochi 1能够在消费级GPU上运行。ComfyUI官方博客宣布Mochi“现在可以适配4090等消费级GPU,Mochi节点支持多种注意力后端,使其能够在低于24GB显存的环境中运行”。


ComfyUI-MochiEdit(视频编辑扩展) :由社区开发者logtd开发的编辑节点集,基于RF-Inversion策略,通过将视频帧反转为噪声并用目标提示词重新采样来实现视频编辑。支持主体替换、风格转换、局部编辑等操作。


GGUF / FP8 量化版本:社区发布了多种量化版本,包括 FP8(10GB)和 GGUF Q3_K_M(4.31GB)等规格,使Mochi 1能够在12GB甚至更低显存的消费级GPU上运行。


Mochi 1 LoRA(微调生态) :Genmo发布了LoRA微调脚本和示例代码,社区基于此训练了多种LoRA模型,包括“溶解”“VHS效果”等风格化微调版本。


第二部分:各版本详细对比与拆解
一、Mochi 1 核心架构拆解
Mochi 1 最核心的技术创新在于 AsymmDiT 架构。传统视频生成模型通常在文本理解和视觉生成之间均匀分配参数,但 Mochi 1 的设计选择截然不同:它将近4倍于文本编码的参数(3,072维度)分配给视觉处理,而文本编码仅使用1,536维度。这一非对称设计的逻辑是:视频生成的核心挑战在于运动动态和时空一致性,而非文本理解——文本编码可以使用相对紧凑的表示,而视觉生成需要更大的参数容量来捕捉复杂的时空关系。


Mochi 1 采用48层Transformer,24个注意力头,处理44,520个视觉token和256个文本token。文本编码使用单一的T5-XXL模型,而非SDXL或Flux那样的多编码器堆叠方案,简化了推理流程并减少了显存消耗。


AsymmVAE 视频编码器是Mochi 1的另一核心组件。362M参数的自编码器实现了128倍压缩——8倍空间压缩和6倍时间压缩,将视频数据编码为12通道潜在空间表示。这一高压缩比使模型能够在有限的显存中处理更多的视频帧。


二、部署方案对比
部署方式 显存需求 生成速度(49帧480p) 适用场景
官方单GPU(bf16) ~60GB — H100集群
mochi-xdit 并行推理 30.83GB(单L40) 74秒(6×L40) 多卡部署
ComfyUI原生(bf16) <24GB ~5分钟(RTX 4090) 消费级GPU
ComfyUI + FP8量化 ~15GB ~3分钟(RTX 4090) 主流消费级GPU
ComfyUI + GGUF Q3_K_M ~12GB 较慢 低显存GPU
官方推荐配置 4×H100(80GB) 2-3分钟 企业级部署
Mochi 1 的原始官方部署需要4张H100 GPU(每张80GB显存),总计320GB显存。但通过ComfyUI优化,显存需求降至不到20GB,使RTX 3090/4090能够以480p分辨率、30fps生成最长5.4秒的视频。


mochi-xdit项目进一步将部署门槛降至单张L40(48GB)GPU,无精度损失,并通过统一序列并行(USP)将6卡L40上的推理延迟从398秒降至74秒,加速3.54倍。


三、ComfyUI-MochiWrapper 与原生ComfyUI的差异
维度 ComfyUI原生Mochi ComfyUI-MochiWrapper
维护方 ComfyUI官方 社区(Kijai)
模型格式 bf16/fp8 safetensors bf16/fp8 safetensors
多注意力后端 支持 支持(更丰富)
显存优化 自动模型卸载 自动模型卸载+分块解码
工作流复杂度 标准 更灵活但更复杂
社区生态 官方示例工作流 丰富的工作流库
ComfyUI在2024年11月初添加了Mochi原生支持,官方博客推荐使用FP8缩放模型替代BF16以降低显存需求。MochiWrapper则提供了更丰富的注意力后端选项和分块解码方案,适合需要精细控制显存和性能的进阶用户。


四、ComfyUI-MochiEdit 编辑能力拆解
MochiEdit 的核心编辑机制基于RF-Inversion策略:输入视频首先被“反转为噪声”,然后这个噪声被用来以目标提示词重新采样视频。这一过程分为两个阶段:


Unsampling(反转阶段) :使用 Mochi Unsampler 节点将视频转换为噪声表示。关键参数包括 gamma(噪声校正量,建议设为0)和 seed(随机噪声种子)。SamplerCustom(MochiWrapper)的 cfg 始终设为1.0,add_noise 设为False。


Sampling(重新采样阶段) :使用 Mochi Resampler 节点将噪声转换回视频。核心参数包括 eta(生成与原视频对齐的强度,值越高越接近原视频)、start_step(原视频引导的起始步)、end_step(停止引导的步)和 eta_trend(引导强度趋势,推荐 linear_decrease)。


MochiEdit 支持的操作包括:替换视频中的主体(如将小鸟替换为其他生物)、人物转绘(如将真人转为动漫风格)、添加新元素(如给人物戴帽子)等。


第三部分:为什么分这么多版本?
一、开源许可驱动的社区生态分化
Mochi 1 的版本分化与其他模型有本质区别——它并非由官方通过模型迭代驱动,而是由Apache 2.0许可驱动的社区生态分化。Genmo发布了唯一的基础模型权重后,将优化和扩展的空间留给了社区。ComfyUI官方团队开发了原生Mochi支持,Kijai开发了MochiWrapper和MochiEdit,calcuis和lucataco等开发者发布了多种量化版本和LoRA模型,mochi-xdit项目实现了并行推理加速。


这种“官方发布基础、社区构建生态”的模式产生了丰富的版本矩阵:基础模型、量化版本、编辑节点、并行推理方案、LoRA微调模型——每一类都针对不同的用户需求和硬件条件。Apache 2.0的宽松许可使这一切成为可能:开发者无需担心商业使用限制,可以自由修改、分发和商业化衍生版本。


二、场景适配:从企业级部署到消费级创作的分层覆盖
Mochi 1 的版本分化服务于不同硬件条件下的场景适配。企业级用户使用官方4×H100配置或mochi-xdit多卡并行方案,追求最高质量和最短延迟。消费级创作者使用ComfyUI+FP8量化版本,在RTX 4090上以约3分钟生成5秒视频。低显存用户使用GGUF Q3_K_M版本,在12GB显存GPU上运行。视频编辑需求使用MochiEdit节点,实现主体替换和风格转换。风格化需求使用社区训练的LoRA模型。


这一分层的核心价值在于:同一个基础模型通过不同的优化方案和扩展工具,覆盖了从数据中心到个人电脑的完整硬件光谱,使专业级视频生成能力真正实现了“民主化”。


三、技术路线的差异化定位
Mochi 1 的技术路线与同期竞品形成了明确的差异化。Runway和Pika擅长风格化内容,Mochi 1则优先追求照片级真实感。AsymmDiT架构将4倍参数分配给视觉处理的设计,使模型在时序一致性上表现突出——主体在帧与帧之间保持外观,光照不会随机闪烁,运动遵循真实物理规律而非“梦幻飘逸”的效果。


这一技术选择使Mochi 1在营销和广告视频、产品演示、电影预可视化等需要照片级真实感的场景中具有独特优势,但在动画和风格化内容上表现欠佳。


四、LoRA微调生态的形成
Genmo发布了LoRA微调脚本和示例代码,社区基于此训练了多种LoRA模型。sayakpaul训练的“溶解”LoRA可以生成物体溶解的高质量特效视频;lucataco训练的“VHS效果”LoRA可以生成复古录像带风格视频。这些LoRA模型使Mochi 1从“通用视频生成器”扩展为“可定制的风格化视频生成平台”,用户无需重新训练完整模型即可获得特定风格或效果的视频生成能力。


第四部分:最著名版本——ComfyUI + Mochi 1 本地部署实战
ComfyUI + Mochi 1 是系列中最受关注、部署门槛最低的组合方案,通过FP8量化可在RTX 4090等消费级GPU上运行,生成480p分辨率、30fps、最长5.4秒的照片级真实视频。以下为完整的本地部署步骤。


步骤一:环境准备与硬件规划
硬件配置基准:


推荐配置:NVIDIA RTX 4090 24GB,FP8版本约15GB显存占用


最低配置:RTX 3060 12GB(需使用GGUF Q3_K_M量化版,4.31GB)


内存:32GB DDR4及以上


存储:预留60GB SSD空间(含T5-XXL编码器和模型文件)


软件环境清单:


操作系统:Ubuntu 22.04 / Windows 10/11


Python 3.10+


PyTorch 2.4+


ComfyUI最新版本(2024年11月后版本已原生支持Mochi)


步骤二:安装ComfyUI
bash
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
步骤三:下载模型权重
bash
# 下载Mochi 1 主模型(FP8量化版,10GB)
huggingface-cli download Comfy-Org/mochi_preview_repackaged \
  split_files/diffusion_models/mochi_preview_fp8_scaled.safetensors \
  --local-dir ./models/diffusion_models


# 下载文本编码器(T5-XXL FP8版本)
huggingface-cli download Comfy-Org/mochi_preview_repackaged \
  split_files/text_encoders/t5xxl_fp8_e4m3fn_scaled.safetensors \
  --local-dir ./models/clip


# 下载VAE
huggingface-cli download Comfy-Org/mochi_preview_repackaged \
  split_files/vae/mochi_vae.safetensors \
  --local-dir ./models/vae
模型文件放置路径:扩散模型→ComfyUI/models/diffusion_models/,文本编码器→ComfyUI/models/clip/,VAE→ComfyUI/models/vae/。


步骤四:启动ComfyUI并加载工作流
bash
python main.py --listen 0.0.0.0 --port 8188
浏览器访问 http://localhost:8188,加载Mochi官方示例工作流。关键参数配置:


分辨率:848×480


帧数:最大163帧(约5.4秒@30fps)


采样步数:64步


引导系数:4.5


步骤五:Python原生调用
python
import torch
from diffusers import MochiPipeline
from diffusers.utils import export_to_video


pipe = MochiPipeline.from_pretrained(
    "genmo/mochi-1-preview",
    torch_dtype=torch.bfloat16
)
pipe.enable_model_cpu_offload()
pipe.vae.enable_tiling()


prompt = "A close-up of a cats eye, with the galaxy reflected in the cats eye"


video = pipe(
    prompt=prompt,
    num_inference_steps=64,
    guidance_scale=4.5,
    num_frames=163,
    height=480,
    width=848
).frames[0]


export_to_video(video, "output.mp4", fps=30)
步骤六:8-bit量化低显存部署
对于显存不足的场景,使用bitsandbytes 8-bit量化可将T5编码器和Transformer的显存需求进一步降低:


python
from diffusers import BitsAndBytesConfig as DiffusersBitsAndBytesConfig
from diffusers import MochiTransformer3DModel, MochiPipeline
from transformers import BitsAndBytesConfig as BitsAndBytesConfig, T5EncoderModel


quant_config = BitsAndBytesConfig(load_in_8bit=True)
text_encoder_8bit = T5EncoderModel.from_pretrained(
    "genmo/mochi-1-preview", subfolder="text_encoder",
    quantization_config=quant_config, torch_dtype=torch.float16
)


quant_config = DiffusersBitsAndBytesConfig(load_in_8bit=True)
transformer_8bit = MochiTransformer3DModel.from_pretrained(
    "genmo/mochi-1-preview", subfolder="transformer",
    quantization_config=quant_config, torch_dtype=torch.float16
)


pipeline = MochiPipeline.from_pretrained(
    "genmo/mochi-1-preview",
    text_encoder=text_encoder_8bit,
    transformer=transformer_8bit,
    torch_dtype=torch.float16,
    device_map="balanced"
)
步骤七:ComfyUI-MochiEdit 视频编辑
安装编辑节点:


bash
cd ComfyUI/custom_nodes
git clone https://github.com/logtd/ComfyUI-MochiEdit.git
# 重启ComfyUI
加载MochiEdit示例工作流,核心操作流程:


Unsampling:使用Mochi Unsampler将输入视频反转为噪声,gamma设为0,cfg设为1.0,add_noise设为False


Sampling:使用Mochi Resampler将噪声重新采样为视频,eta控制与原视频的相似度(0.3-0.8),start_step控制引导起始点(0-6),eta_trend推荐设为linear_decrease


提示词:在SamplerCustom的positive中输入目标编辑提示词,如“the bird is replaced with a butterfly”


步骤八:监控与调优
关键指标监控:


显存占用:FP8约15GB,GGUF Q3_K_M约12GB,bf16约20GB


生成速度:RTX 4090约3-5分钟/49帧,RTX 3060约10-15分钟


GPU利用率:目标>80%


降本策略:对快速原型使用较少的帧数(如31帧);对高质量输出使用163帧完整推理。如遇OOM,可在采样器与解码节点之间插入“卸载所有模型”节点以释放显存供VAE解码使用。


第五部分:不同版本的实践结果
案例一:Mochi 1 LoRA社区生态——溶解特效与VHS风格视频(基于Mochi 1 + LoRA微调)
Genmo发布了LoRA微调脚本后,社区迅速训练了多种风格化LoRA模型。sayakpaul训练的“溶解”(dissolve)LoRA可以生成物体溶解的高质量特效视频——一个雪花玻璃球先平静地立在桌面上,随后剧烈爆炸,玻璃、水和闪闪发光的假雪向四面八方飞散,以高速摄影的方式捕捉整个场景。lucataco训练的LoRA则实现了VHS录像带风格的视频生成效果。


实践成效:这一案例的核心价值在于验证了Mochi 1在风格化视频生成场景中的可定制性。基础Mochi 1模型擅长照片级真实感生成,对动画和风格化内容表现欠佳,但通过LoRA微调,社区成功将模型的能力边界扩展到了特效和复古风格领域。这一模式使Mochi 1从“单一风格生成器”变成了“可定制的视频生成平台”——用户只需准备少量训练数据即可获得特定风格或效果的视频生成能力,无需重新训练完整的100亿参数模型。


案例二:RTX 4090消费级GPU实测——5分钟生成5.4秒480p视频(基于ComfyUI + Mochi 1 FP8)
社区用户在RTX 4090上对ComfyUI + Mochi 1 FP8优化版本进行了系统实测。在默认49帧、848×480分辨率、64步配置下,峰值显存占用约20GB,在24GB显卡上留有约4GB余量。生成一段完整的5.4秒视频(163帧)约需5分钟。使用FP8量化版本在RTX 4090上可稳定生成30fps、最长5.4秒的照片级真实视频。


实践成效:这一案例代表了Mochi 1在消费级硬件视频创作场景中的实用价值。官方原始部署需要4张H100(总计320GB显存),而通过ComfyUI优化,显存需求降至不到20GB,使RTX 3090/4090用户能够本地生成照片级真实视频。生成速度从企业级集群的2-3分钟/5秒视频,降至消费级硬件的约5分钟——这一速度虽然较慢,但相比云端API的按秒计费模式,本地部署意味着无限次生成且零边际成本,对高频创作者而言经济性优势显著。


案例三:mochi-xdit并行推理——单张L40实现无损失生成(基于mochi-xdit)
mochi-xdit项目基于xDiT统一序列并行框架,将Mochi 1从原本需要4张H100 GPU的部署需求,降至单张L40(48GB)GPU即可运行,且无精度损失。在6张L40 GPU上,通过CFG并行和Ring-Attention混合2D序列并行,将49帧848×480视频的推理延迟从398秒降至74秒,加速3.54倍。


实践成效:这一案例的核心价值在于验证了Mochi 1在多GPU并行部署场景中的可扩展性。mochi-xdit不仅降低了单卡部署的门槛(从4×H100降至1×L40),还通过序列并行实现了显著的推理加速。对于拥有多张中端GPU的中小型团队,mochi-xdit方案提供了介于“消费级单卡”和“企业级H100集群”之间的中间选择——以更低的硬件成本实现接近企业级的生成速度。


案例四:Mochi AI商业内制化——食品与化妆品PR视频外包成本归零(基于Mochi 1商业部署)
日本技术媒体ReeX报道了一个典型的Mochi 1商业应用案例:食品和化妆品品牌使用Mochi 1在内部完成产品PR视频制作,实现了外包成本归零。报道指出“使用Mochi AI,可以以零外包、月数千日元的成本,量产流畅有机的视频内容”,并明确强调了Apache 2.0许可证的商业使用许可。


实践成效:这一案例的核心价值在于验证了Mochi 1在企业内容内制化场景中的经济性。Mochi 1对照片级真实感的专注使其特别适合食品和化妆品品类的产品展示视频——产品表面的光泽、液体流动、材质纹理等细节的逼真呈现是这类视频的核心诉求,而Mochi 1的AsymmDiT架构将4倍参数分配给视觉处理的设计,恰恰在时序一致性和物理真实性方面具有优势。Apache 2.0许可证消除了企业使用开源模型的法律顾虑,使品牌方能够在自有基础设施上部署模型,既保护了产品数据隐私,又实现了零边际成本的视频量产。


案例五:MochiEdit视频主体替换与风格转换(基于ComfyUI-MochiEdit)
社区用户使用MochiEdit节点实现了多种视频编辑操作。典型案例包括“换主体”——将视频中的小鸟觅食场景替换为其他生物,以及“人物转绘”——将真人视频转换为动漫风格。编辑通过将视频帧反转为噪声并用目标提示词重新采样来实现,eta参数控制生成结果与原视频的对齐强度,start_step和end_step控制编辑的起止范围。


实践成效:这一案例代表了Mochi 1在视频后期编辑场景中的扩展能力。传统视频编辑需要逐帧处理或使用专业特效软件,MochiEdit通过RF-Inversion策略实现了基于文本提示的语义级视频编辑——用户只需输入“将小鸟替换为蝴蝶”或“将真人转为动漫风格”,模型即可在保持画面其他元素不变的前提下完成编辑。这一能力使Mochi 1从“视频生成工具”扩展为“视频编辑平台”,为内容创作者提供了从生成到编辑的一站式工作流。

版权声明:本平台仅提供信息存储空间服务,用户发布内容不代表本站观点,交易风险自担;侵权违法内容请立即举报(邮箱:37996619@qq.com),本站接通知后先行屏蔽,责任由发布者承担。