TRELLIS 是由微软研究院(Microsoft Research)开发并开源的大型3D生成模型系列,其名称源自“Structured LATent”(结构化潜在表示),核心创新在于一种能够同时捕获3D物体几何形状和外观纹理的紧凑潜在表示。该项目由微软亚洲研究院首席研究员杨蛟龙博士等核心开发者研发,自2024年12月首次发布以来,已成为全球3D生成领域最具影响力的开源模型之一。

从版本谱系来看,TRELLIS 已发展出两个主要版本:
TRELLIS v1(2024年12月) :系列的开山之作,arXiv论文于2024年12月2日发表,标题为“Structured 3D Latents for Scalable and Versatile 3D Generation”。v1版本采用SLAT(Structured Latents)表示,包含两个参数规模的模型:TRELLIS-image-large(12亿参数,图生3D)和TRELLIS-text-base(3.42亿参数,文生3D)。该版本于2025年6月被接收为CVPR 2025 Spotlight论文,2025年9月集成至NVIDIA NIM平台。
TRELLIS 2(2025年12月) :系列的重大跃迁版本,于2025年12月16日正式发布,模型权重提前两周于2025年11月30日上传至Hugging Face。TRELLIS 2拥有40亿参数,参数量较v1的20亿翻倍,采用全新的O-Voxel表示和稀疏压缩VAE,实现了16倍空间压缩,在更快的生成速度下实现更高质量。该版本以MIT许可证开源,允许自由下载、测试甚至商用集成。
第二部分:各版本详细对比与拆解
一、核心版本参数对比
维度 TRELLIS v1 TRELLIS 2
发布时间 2024年12月 2025年12月
参数量 ~20亿 40亿
3D表示 SLAT(结构化潜在表示) O-Voxel(无场稀疏体素)
最大分辨率 ~512³ 512³–1536³
生成速度 ~10秒 ~3秒(512³)
材质质量 标准 高保真PBR(基础色/粗糙度/金属度/不透明度)
开源许可 自定义 MIT
核心定位 3D生成验证 高保真PBR资产生成
从v1到TRELLIS 2,模型的演进呈现出一条清晰的能力跃迁路径。v1版本以SLAT表示验证了结构化潜在表示在3D生成中的可行性,TRELLIS 2则通过O-Voxel表示实现了从“能生成”到“生成生产级资产”的跨越。
二、核心技术架构差异
TRELLIS v1的SLAT表示:v1采用两阶段生成流程。第一阶段使用Rectified Flow Transformer在16³分辨率下生成稀疏结构,确定物体在三维空间中的大致位置和形状。第二阶段将稀疏结构转化为64³分辨率的SLAT表示,为每个被占据的体素生成结构化潜在向量,捕获精细几何细节和表面纹理。v1的核心贡献在于证明了结构化潜在表示可以同时编码几何和外观信息,且同一次生成可解码为3D高斯泼溅、辐射场或网格等多种输出格式。
TRELLIS 2的O-Voxel表示:TRELLIS 2的核心创新是O-Voxel(Omni-Voxel)——一种全新的“无场”稀疏体素结构,可同时描述几何与材质属性,并支持表达任意拓扑结构,包括开放表面、非流形几何和内部封闭空间。O-Voxel打破了传统等值面场的限制,能够稳健处理复杂结构而不造成有损转换。
稀疏3D VAE架构:TRELLIS 2采用稀疏3D VAE将资产编码为紧凑的潜在空间,实现16倍空间下采样。这一设计使模型能够在保持高分辨率的同时将计算成本控制在合理范围内,512³分辨率下生成仅需约3秒,1024³约17秒,1536³约60秒。
三、TRELLIS 2 生成效率拆解
TRELLIS 2在NVIDIA H100 GPU上的生成效率如下:
分辨率 总时间 形状生成 材质生成
512³ ~3秒 2秒 1秒
1024³ ~17秒 10秒 7秒
1536³ ~60秒 35秒 25秒
这一效率在同类开源模型中处于领先水平,使TRELLIS 2成为唯一能够在数秒内生成高保真PBR 3D资产的开源模型。
四、与主流竞品的横向对比
在学术评估中,TRELLIS 3D在多个维度上与主流3D生成模型进行了对比。一项针对航天器和小行星3D重建的研究表明,Hunyuan-3D在所有2D指标上均优于Trellis-3D,但Trellis-3D在PSNR指标上表现出色,达到20.9,高于Hunyuan-3D的相应指标。在植物模型生成的评估中,TRELLIS获得了6.7710的视觉保真度评分,略低于Hunyuan3D的6.4972,但差距不大。一项AIGC生成3D模型的适配性研究指出,Trellis存在“贴图层次单薄、结构冗余”等问题,但整体表现均衡。在硬件选择上,有指南指出“追求纹理保真、透明效果、硬表面细节选TRELLIS 2;追求低配硬件上的速度选Hunyuan3D 2”。
第三部分:为什么分这么多版本?
一、从“表示验证”到“生产可用”的场景递进
TRELLIS的版本分化遵循一条清晰的“表示创新—效率跃迁—生产就绪”递进路径。v1版本的核心目标是验证SLAT结构化潜在表示在3D生成中的可行性,解决了“能不能用结构化潜在表示同时编码几何和纹理”的问题。TRELLIS 2的核心目标则是将模型从“研究验证”推向“生产可用”,通过O-Voxel表示和稀疏VAE解决了“生成质量能否达到工业级标准”和“生成速度能否满足生产工作流需求”两个关键问题。
二、O-Voxel表示的技术必要性
TRELLIS 2从SLAT升级到O-Voxel,根本原因在于SLAT表示在处理复杂拓扑时的局限性。SLAT基于稀疏体素网格上的结构化潜在向量,虽然能有效编码大部分常见物体,但在处理开放表面(如服装、树叶)、非流形几何和内部封闭结构时存在困难。O-Voxel通过“无场”设计打破了等值面场的限制,使模型能够稳健处理任意拓扑结构,这是TRELLIS 2从“生成常见物体”升级为“生成任意3D资产”的技术基础。
三、效率与质量的双重突破
TRELLIS 2的40亿参数相比v1的20亿翻倍,但生成速度反而从约10秒缩短至约3秒(512³分辨率)。这一“参数增长、速度提升”的反直觉结果得益于稀疏3D VAE的16倍空间压缩和O-Voxel表示的高效编码。这一效率提升使TRELLIS 2能够融入实时或近实时的3D内容创作工作流,而非仅仅作为离线生成工具使用。
四、开源生态的深度整合
TRELLIS 2的MIT许可证是其生态战略的核心。v1采用自定义许可,限制了部分商用场景,TRELLIS 2转向MIT后大幅降低了企业用户的合规门槛。这一策略的直接成果是生态的快速繁荣——2026年8月31日,TRELLIS 2和Pixal3D成为ComfyUI原生支持的3D生成模型,无需自定义节点、无需编译CUDA扩展、无需降级PyTorch。ComfyUI官方博客指出,TRELLIS 2“立即成为3D生成式AI最好的开源模型”,多个开源3D模型直接构建在其之上,其中最引人注目的是Pixal3D,其实现使用了TRELLIS 2的骨干网络。
第四部分:最著名版本——TRELLIS 2 本地部署实战
TRELLIS 2是系列中功能最完整、生态最完善的版本,40亿参数、O-Voxel表示、PBR材质生成和MIT开源许可使其成为当前3D生成的首选开源基座。以下为完整的本地部署步骤。
步骤一:环境准备与硬件规划
硬件配置基准:
最低配置:NVIDIA GPU,显存8GB(RTX 3060,低显存模式)
推荐配置:NVIDIA GPU,显存16GB+(RTX 4070及以上)
官方推荐:NVIDIA A100/H100,24GB+显存
内存:32GB DDR4及以上
存储:预留30GB NVMe SSD空间(含模型权重)
操作系统:Ubuntu 22.04 LTS或Windows 11
软件环境清单:
Python 3.10或3.11
PyTorch 2.1+,CUDA 12.1+
ComfyUI最新版本(推荐)或原生环境
NVIDIA Driver 525+
步骤二:安装ComfyUI并部署TRELLIS 2节点
方案A:ComfyUI Manager一键安装(推荐)
在ComfyUI中打开Manager,搜索“TRELLIS2”,选择PozzettiAndrea/ComfyUI-TRELLIS2进行安装。这是最活跃维护的节点,支持定期更新。
方案B:手动安装
bash
cd ComfyUI/custom_nodes
git clone https://github.com/PozzettiAndrea/ComfyUI-TRELLIS2.git
cd ComfyUI-TRELLIS2
pip install -r requirements.txt --upgrade
# 重启ComfyUI
步骤三:下载模型权重
bash
# 从Hugging Face下载TRELLIS 2-4B权重
huggingface-cli download microsoft/TRELLIS.2-4B \
--local-dir ./models/trellis
# 将模型文件放置到ComfyUI目录
# ComfyUI/models/trellis/
模型权重约15GB(SSD存储),首次下载后即可离线使用。
步骤四:启动ComfyUI并加载工作流
bash
python main.py --listen 0.0.0.0 --port 8188
浏览器访问 http://localhost:8188。ComfyUI原生支持TRELLIS 2,提供Load/Preview/Save 3D节点、网格后处理节点集和扩展的PBR纹理阶段(自动烘焙法线贴图和AO贴图)。在节点浏览器中搜索“TRELLIS”,应能看到TRELLIS 2相关节点。
步骤五:Python原生调用
python
import torch
from trellis.pipelines import TrellisImageTo3DPipeline
pipeline = TrellisImageTo3DPipeline.from_pretrained("microsoft/TRELLIS.2-4B")
pipeline.cuda()
# 从图像生成3D资产
outputs = pipeline.run(
image="input_image.png",
seed=42,
sparse_structure_sampler_params={
"steps": 12,
"cfg_strength": 7.5,
},
slat_sampler_params={
"steps": 12,
"cfg_strength": 3.0,
},
)
# 导出为多种格式
outputs['mesh'][0].export("output.glb") # GLB网格
outputs['gaussian'][0].save_ply("output.ply") # 3D高斯泼溅
步骤六:ComfyUI低显存模式
对于8GB显存的消费级GPU,ComfyUI提供了低显存模式。在TRELLIS 2节点中启用“low_vram”选项,系统会自动优化显存分配,将峰值显存控制在6-8GB范围内。
步骤七:监控与调优
关键指标监控:
显存占用:标准模式约16-24GB,低显存模式约6-8GB
生成速度:512³约3秒,1024³约17秒,1536³约60秒(H100)
输出格式:GLB / PLY / OBJ(多格式同时导出)
降本策略:对快速原型使用512³分辨率(3秒);对标准生产使用1024³(17秒);对影视级交付使用1536³(60秒)。PBR材质生成与几何生成在TRELLIS 2中已统一,无需额外步骤。
第五部分:不同版本的实践结果
案例一:Dollris同人台灯创作——从数周到一天(基于TRELLIS 2 + 3D打印工作流)
数字艺术家Dollris是小红书拥有231K粉丝的顶尖同人3D创作者,商业合作覆盖腾讯、网易、HoYoverse、欧莱雅、华为、OPPO等品牌。她使用TRELLIS 2将喜欢的角色图片上传后生成3D模型,再通过3D打印制作成精美的同人台灯。她给粉丝的建议是:“你不需要懂建模。只要把喜欢的角色图片上传到TRELLIS 2,生成3D模型,再将它打印出来,就能拥有属于自己的定制同人作品。”
实践成效:传统3D建模与打印可能需要数周甚至数月,“漂亮的台灯”或“角色雕像”这样的热门同人创意常常停留在草稿阶段。使用TRELLIS 2后,Dollris的创作效率显著提升——从生成、修改到3D打印和上色,全部只用一天就完成了。这一案例的核心价值在于验证了TRELLIS 2在个人创意创作场景中的民主化价值——使没有专业3D建模技能的用户也能将创意快速转化为实体作品。
案例二:脑血管动脉瘤分析的特征迁移(基于TRELLIS v1)
一项发表于ScienceDirect的研究提出了一种跨域特征迁移方法,利用TRELLIS v1在大规模非医学3D数据集上学习到的潜在几何嵌入,来增强用于颅内动脉瘤分析的神经网络。
实践成效:研究团队将TRELLIS v1的表面特征整合到动脉瘤分类模型中。结果显示,在512个样本上使用PointNet++配合TRELLIS特征,达到了血管准确率99.88% 和动脉瘤准确率100% 的优异表现。这一案例的核心价值在于验证了TRELLIS v1学习到的3D表示具有跨域泛化能力——在自然物体上训练的3D生成模型,其学习到的几何嵌入可以迁移到医学影像领域,为专业医疗诊断提供辅助。这代表了3D生成模型从“内容创作工具”向“科学发现基础设施”的延伸。
案例三:InstructMesh——TRELLIS + GPT-4实现3D打印就绪模型(基于TRELLIS v1)
InstructMesh项目将微软的TRELLIS 3D生成器与GPT-4相结合,旨在让AI生成的3D模型更易于打印且功能更完善。TRELLIS负责生成初始几何形状,GPT-4则通过自然语言指令对模型进行调整和优化。
实践成效:该项目解决了AI生成3D模型在实际3D打印中的常见问题——生成的模型可能存在结构不稳定、悬垂角度过大等不适合打印的问题。通过GPT-4的指令理解和TRELLIS的重新生成能力,InstructMesh能够自动调整模型结构使其满足3D打印要求。这一案例代表了TRELLIS在自动化3D打印工作流中的落地价值——将“生成”与“可打印性优化”整合为端到端的自动化流程。
案例四:FLUX + TRELLIS语音驱动3D内容生成(基于TRELLIS v1)
一项关于增强现实中基于语音的3D内容生成方法的研究中,评估了多种生成管道的表现。结果显示,FLUX(图像生成)+ TRELLIS(3D生成)的组合管道在所有评估方法中表现最优,在Q1、Q2、Q3三个维度的平均得分分别为3.91、3.85和4.03,整体满意度评分达到4.55/5,意图对齐评分达到4.82/5。
实践成效:这一案例的核心价值在于验证了TRELLIS在语音交互式3D内容生成场景中的可用性。用户通过语音描述想要的3D内容,系统首先使用FLUX生成参考图像,然后通过TRELLIS将图像转化为3D模型。这种“语音→图像→3D”的管道在AR/VR场景中具有直接的实用价值,使非专业用户也能通过自然语言快速创建3D内容。
案例五:文化遗产数字重建与虚拟场景构建(基于TRELLIS 2)
韩国研究团队将TRELLIS 2应用于全烧毁文化遗产的数字再现与归档。研究者利用TRELLIS 2从单张历史图像生成3D模型,然后在Blender和Google Earth Pro环境中进行结构验证和可视化。
实践成效:该研究从公民记录数字归档的角度,探讨了生成式AI在文化遗产保护中的应用。TRELLIS 2的PBR材质生成能力使其能够还原历史建筑的真实材质外观,而O-Voxel表示对复杂拓扑结构的支持则使模型能够处理传统建筑中常见的开放表面和非流形几何。这一案例代表了TRELLIS 2在文化遗产数字化场景中的专业应用价值——不是“生成一段展示视频”,而是“重建可用于研究和展示的精确3D数字资产”。
版权声明:本平台仅提供信息存储空间服务,用户发布内容不代表本站观点,交易风险自担;侵权违法内容请立即举报(邮箱:37996619@qq.com),本站接通知后先行屏蔽,责任由发布者承担。