LTX-2.3 DubIt 在严格意义上并非一个拥有多个大版本迭代的独立模型,而是 Lightricks 在 LTX-2.3 音视频基础模型之上训练的一个 IC-LoRA(Image-Conditioned LoRA)适配器,官方文档将其定位为“语音替换”工具——接收一段说话人的视频和一段新的目标文本,重新生成说话人的嘴部运动以匹配新语音,同时保持说话人的视觉外观和声音身份。IC-LoRA 的官方定义是“在 LTX-2.3-22b 之上训练的,使 LTX 模型具备唇形配音能力”。

因此,LTX-2.3 DubIt 的“版本”应从基座模型变体、适配器形态、社区工作流实现三个层面来理解。
基座模型层面:LTX-2.3 提供两个变体——LTX-2.3 Pro(ltx-2-3-pro)定位为最高质量,支持包括音频到视频、重拍和扩展在内的全部端点;LTX-2.3 Fast(ltx-2-3-fast)定位为极速生成,支持文生视频和图生视频。DubIt 的 IC-LoRA 在蒸馏检查点上运行,官方文档明确“在蒸馏检查点上使用单一 Dub-It IC-LoRA”。
适配器形态层面:DubIt IC-LoRA 本身以 Hugging Face 门控检查点的形式发布,需要用户申请批准后方可下载使用。这意味着 DubIt 在当前阶段仅有一个官方发布的适配器版本,尚未有 v1、v2 等代际更新。
社区工作流层面:围绕 DubIt 的能力,社区构建了多种实现路径。Kijai 在 ComfyUI 中提供了“V2V Just Dub It”工作流,使用 IC-Lora-LipDub 实现多语言唇形配音;RuneXX 提供了“V2V Dub It”工作流,因 Just Dub It LoRA 仅支持 LTX-2.0,该工作流通过遮罩说话人嘴部区域并提示新语言来实现类似功能。此外,LTX 官方在 ComfyUI-LTXVideo 节点包中提供了原生的 Dub-It 两阶段工作流。
第二部分:各版本详细对比与拆解
一、基座模型变体对比
维度 LTX-2.3 Pro LTX-2.3 Fast
API 模型 ID ltx-2-3-pro ltx-2-3-fast
定位 最高质量 极速生成
支持端点 全部(含音频到视频、重拍、扩展) 文生视频、图生视频
720p 定价 $0.04/秒 $0.03/秒
1080p 定价 — $0.06/秒
适用场景 最终交付、复杂配音 快速原型、创意探索
LTX-2.3 Pro 是 DubIt 配音任务的推荐基座。DubIt 需要音频到视频端点来处理参考音频,而 Pro 版本是唯一支持全部端点的变体。Fast 版本虽然价格更低,但不支持音频到视频端点,因此无法直接运行 DubIt 管线。
二、DubIt 技术架构拆解
DubIt 的核心是一个两阶段扩散管线,其架构设计围绕“保持说话人身份的同时替换语音”这一核心目标展开。
IC-LoRA 视觉身份保持:DubIt IC-LoRA 的视觉条件机制使用参考视频作为身份锚点。模型从参考视频中提取说话人的面部特征、头部姿态和场景上下文,在生成新嘴部运动时保持这些视觉特征的连贯性。这一设计使 DubIt 的输出不是“换了一张脸的配音”,而是“同一个人说不同的话”。
参考音频条件:DubIt 同时使用参考音频作为条件输入,从中提取说话人的音色特征和语音节奏。这意味着模型不仅重新生成嘴部运动,还保留了原始说话人的声音身份——用户听到的仍然是原说话人的音色,但内容已经是新的目标文本。
冻结音频潜在表示:DubIt 管线的一个关键工程决策是在重新生成视频视觉的同时冻结音频潜在表示,以保持精确的时间对齐。这一设计确保了新生成的嘴部运动与目标音频的节奏精确匹配,避免了唇形与语音之间的时序漂移。
两阶段生成流程:DubIt 采用两阶段扩散——第一阶段生成低分辨率蓝图视频,建立整体运动结构和身份锚点;第二阶段通过超分辨率模块精细化为高分辨率视频。两个阶段均应用 Dub-It IC-LoRA,确保身份一致性贯穿整个生成过程。
三、社区工作流对比
工作流 维护者 核心机制 适用 LTX 版本 官方支持
官方 Dub-It 工作流 Lightricks IC-LoRA 原生管线 LTX-2.3 是
Kijai V2V Just Dub It Kijai IC-Lora-LipDub LTX-2.3 社区
RuneXX V2V Dub It RuneXX 嘴部遮罩 + 语言提示 LTX-2.3 社区
LTX 2.3 Lipdub + Voice Clone 社区 LTX 2.3 + Chatterbox 语音克隆 LTX-2.3 社区
官方工作流使用 DubIt IC-LoRA 原生管线,与 LTX-2 的 DubItPipeline 深度集成。Kijai 的工作流使用 IC-Lora-LipDub,与官方 IC-LoRA 在命名和训练数据上略有差异。RuneXX 的工作流因 Just Dub It LoRA 仅支持 LTX-2.0,采用“嘴部遮罩 + 语言提示”的替代方案——遮罩说话人嘴部区域,通过提示词指定新语言,利用 LTX-2.3 内置的配音能力生成新嘴部。
第三部分:为什么采用这种架构而非多版本模型?
一、IC-LoRA 的架构优势:适配器而非独立模型
Lightricks 选择将 DubIt 实现为 IC-LoRA 适配器,而非训练一个独立的配音模型,这一决策根植于 LTX-2.3 的架构设计哲学。LTX-2.3 本身是一个 22B 参数的 DiT 架构音视频联合生成基础模型,在单次推理中同步生成视频和音频。如果 DubIt 作为一个独立模型训练,它将需要重新学习整个音视频生成能力,而 IC-LoRA 只需在已有基座上学习“唇形配音”这一特定任务。
这一架构选择的工程价值在于:推理效率——IC-LoRA 作为轻量适配器,不改变基座模型的参数量,推理开销增加有限;部署灵活性——同一基座模型可以加载不同的 IC-LoRA 适配器来执行不同任务(配音、相机控制、风格迁移等);版本管理简洁——基座模型的更新(如从 LTX-2.3 到 LTX-2.5)可以独立于适配器进行,适配器只需在验证后声明兼容性。
二、从 LTX-2.0 到 LTX-2.3 的能力内化
DubIt 的版本演进还反映了 LTX 系列从 LTX-2.0 到 LTX-2.3 的能力内化过程。在 LTX-2.0 时代,唇形配音依赖外部的 Just Dub It LoRA 实现,该 LoRA 无法在 LTX-2.3 上运行。LTX-2.3 发布时,Lightricks 将部分配音能力内化到基座模型中——LTX-2.3 本身具备内置的配音能力,社区工作流利用这一能力通过嘴部遮罩和语言提示实现配音。随后,官方发布了 DubIt IC-LoRA,在基座的内置能力之上进一步专业化,提供比“遮罩 + 提示”更精确的身份保持和音素级唇形同步。
这一演进路径与 LTX-2.3 本身的设计理念一致:先通过基础模型提供通用能力,再通过 IC-LoRA 进行任务特化。
三、门控检查点的安全与质量控制
DubIt IC-LoRA 采用 Hugging Face 门控检查点发布,用户需要申请批准后才能下载。这一策略的背后有两层考量:安全层面——语音替换技术存在被滥用于深度伪造和虚假信息传播的风险,门控机制使 Lightricks 能够追踪使用者并执行使用条款;质量控制层面——DubIt 作为两阶段扩散管线对硬件和配置有特定要求,门控使团队能够在使用前确认用户具备运行条件,避免因配置不当导致的低质量输出。
这一策略的代价是可用性受限——Tight Studio 在 2026 年 8 月的评测中,LTX-2.3 DubIt 因“官方检查点需要 Hugging Face 批准”而无法启动,在所有评测模型中成为唯一一个“在 GPU 之前被阻止”的模型。
第四部分:最著名版本——LTX-2.3 Pro + DubIt IC-LoRA 本地部署实战
LTX-2.3 Pro 是运行 DubIt 的推荐基座,DubIt IC-LoRA 是官方发布的配音适配器。以下为基于 ComfyUI 的完整部署步骤。
步骤一:环境准备与硬件规划
硬件配置基准:
推荐配置:NVIDIA GPU,显存 24GB 及以上(如 RTX 3090/4090)
LTX-2.3 权重:完整精度 safetensors 约 30GB,GGUF Q4 量化约 15GB
内存:32GB DDR4 及以上
存储:预留 60GB SSD 空间(含基座模型、IC-LoRA、VAE 和音频编码器)
软件环境清单:
操作系统:Ubuntu 22.04 / Windows 10/11
Python 3.10+
PyTorch 2.5+,CUDA 12.4
ComfyUI 最新版本(支持 ComfyUI-LTXVideo 节点包)
步骤二:申请并下载 DubIt IC-LoRA
DubIt IC-LoRA 位于 Hugging Face 仓库 Lightricks/LTX-2.3-22b-IC-LoRA-DubIt,需要先申请访问权限。
bash
# 登录Hugging Face并申请访问权限后
huggingface-cli download Lightricks/LTX-2.3-22b-IC-LoRA-DubIt \
--local-dir ./models/loras/LTX-2.3-DubIt
LoRA 权重文件需放置到 ComfyUI 的 models/loras 目录下。
步骤三:下载 LTX-2.3 基座权重
bash
# 下载LTX-2.3 Pro完整权重
huggingface-cli download Lightricks/LTX-2.3 \
--local-dir ./models/LTX-2.3
# 或使用GGUF量化版本(显存受限时)
huggingface-cli download QuantStack/LTX-2.3-GGUF \
--local-dir ./models/LTX-2.3-GGUF
步骤四:安装 ComfyUI-LTXVideo 节点包
bash
cd ComfyUI/custom_nodes
git clone https://github.com/Lightricks/ComfyUI-LTXVideo.git
cd ComfyUI-LTXVideo
pip install -r requirements.txt
# 重启ComfyUI
在 ComfyUI 中点击 Manager(Ctrl+M),搜索“LTXVideo”确认节点已安装。
步骤五:加载 DubIt 官方工作流
ComfyUI-LTXVideo 节点包内置了 Dub-It 两阶段工作流。在 ComfyUI 中点击 Workflow → Browse Templates,搜索“Dub-It”或“IC-LoRA distilled model Dub-It; two stages (with upsampling)”。
工作流的核心节点包括:
LTXVSetAudioRefTokens:附加参考音频作为条件标记,用于说话人身份传递
DubItPipeline:两阶段扩散管线,集成 IC-LoRA 和参考音频条件
步骤六:配置输入并运行
输入要求:
参考视频:一段说话人的视频片段,提供视觉身份和原始音频节奏
目标文本:希望说话人说的新内容
参考音频:可选,用于声音身份保持
在工作流中依次加载参考视频、输入目标文本、加载 DubIt IC-LoRA 权重,点击生成。DubIt 管线将遮罩说话人嘴部区域,基于目标文本重新生成嘴部运动,同时保持面部特征、头部姿态和场景背景不变。
步骤七:监控与调优
关键指标监控:
显存占用:LTX-2.3 Pro 完整精度约 30GB,GGUF Q4 约 15GB
生成速度:取决于 GPU 性能和两阶段管线的配置
身份保持:检查输出视频中说话人的面部特征是否与参考视频一致
已知限制:LTX-2.5 对 Dub-It IC-LoRA 的支持仍在开发中,该 IC-LoRA 已验证于 LTX-2.3,尚未在 LTX-2.5 上验证。如果使用 LTX-2.5 基座,DubIt 可能无法正常运行。
第五部分:不同版本的实践结果
案例一:Talking Baby Podcast——婴儿播客的唇形配音(基于 LTX-2.3 + DubIt 能力)
Hedra Character-3 驱动的“Talking Baby Podcast”是 2025 年 AI 视频生成领域最现象级的应用之一。虽然该案例主要使用 Hedra 的 Character-3 模型,但其核心能力——让婴儿角色以自然的口型和表情“主持”播客——与 LTX-2.3 DubIt 的技术方向一致。DubIt 的定位正是“重新生成语音,在保持说话人视觉外观和声音身份的同时输出唇形同步的新对话”。
实践成效:DubIt 类技术在娱乐内容创作中的核心价值在于“身份保持下的语音替换”——创作者可以拍摄一段视频,然后用 DubIt 替换其中的语音内容,生成多语言版本或修改台词,而无需重新拍摄。这一能力使内容创作者能够以极低成本实现视频的“语音层迭代”,在播客、短剧和虚拟主播场景中具有直接的商业价值。
案例二:AI 视频多语言配音——保留原说话人音色的翻译(基于 DubIt IC-LoRA)
DubIt 的核心应用场景之一是视频的多语言配音。传统视频翻译配音需要配音演员重新录制目标语言版本,成本高且难以保留原始说话人的音色特征。DubIt 的参考音频条件机制使其能够在替换语音内容的同时保持说话人的声音身份,实现“同一个人用不同语言说话”的效果。
实践成效:社区在 Hugging Face 上发布的工作流明确标注了“lip-synced dubbing in multiple languages”(多语言唇形同步配音)。这意味着 DubIt 的能力不仅限于同语言的语音替换,还可用于跨语言配音。对于内容出海和全球化分发的创作者而言,DubIt 提供了一条“一次拍摄、多语言配音”的高效路径。不过,DubIt 的官方文档在 2026 年 5 月仍标注为 Beta 版本,LTX-2.5 的支持仍在开发中,表明该功能仍处于持续迭代阶段。
案例三:ComfyUI 社区配音工作流的实际运行(基于 LTX-2.3 Fast + 社区 Dub It 工作流)
RuneXX 在 Hugging Face 上发布了适用于 LTX-2.3 的“V2V Dub It”工作流,因 Just Dub It LoRA 仅支持 LTX-2.0,该工作流采用“嘴部遮罩 + 语言提示”的替代方案。用户需要更新 ComfyUI-LTXVideo 节点包到最新版本,将工作流 JSON 文件下载后拖入 ComfyUI 即可使用。
实践成效:这一社区工作流在实际运行中验证了 LTX-2.3 内置配音能力的可用性。与 DubIt IC-LoRA 需要门控检查点不同,该工作流仅依赖 LTX-2.3 基座和 ComfyUI 节点包,无需额外申请权限。对于无法获取 DubIt IC-LoRA 访问权限的用户,这一工作流提供了可行的替代路径。其“嘴部遮罩 + 语言提示”的机制虽然不如 IC-LoRA 精确,但足以满足基本的多语言配音需求。这一案例反映了 LTX 生态中“官方 IC-LoRA + 社区替代工作流”并行的版本格局。
版权声明:本平台仅提供信息存储空间服务,用户发布内容不代表本站观点,交易风险自担;侵权违法内容请立即举报(邮箱:37996619@qq.com),本站接通知后先行屏蔽,责任由发布者承担。