Pixal3D是由清华大学BNRist实验室与腾讯ARC Lab联合研发的像素对齐图像转3D生成框架，论文已被SIGGRAPH 2026接收，同时获得Victoria University of Wellington的合作支持。项目核心作者包括Dong-Yang Li、Wang Zhao（项目负责人）、Yuxin Chen、Wenbo Hu、Meng-Hao Guo、Fang-Lue Zhang、Ying Shan和Shi-Min Hu（通讯作者）。Pixal3D的核心目标是解决传统3D生成与输入图像之间像素级一致性差的痛点——通过显式的像素反投影方案，将多尺度2D图像特征提升到3D特征体积中，建立直接、无歧义的像素到3D对应关系，使生成结果达到接近重建级别的保真度。
从版本谱系来看，Pixal3D并未采用传统的“基础版/专业版”命名体系，而是以代码分支来区分不同的实现路径，形成了两个核心版本：
Paper Version（论文版） ：基于Direct3D-S2骨干网络的原始实现，对应SIGGRAPH 2026论文中报告的全部实验结果。该版本使用Direct3D-S2作为生成骨干，是论文方法论的忠实实现，适合需要复现论文结果的学术研究者使用。
Main Version（改进版） ：基于TRELLIS.2骨干网络的改进实现，是GitHub仓库的默认main分支，也是官方推荐的“最新版本”。该版本在保留Pixal3D核心的像素反投影条件方案基础上，将生成骨干从Direct3D-S2替换为TRELLIS.2，获得了更好的生成性能和推理效率。TRELLIS.2的O-Voxel表示和稀疏3D VAE架构为Pixal3D提供了更高效的3D潜在空间，使其在保持像素对齐保真度的同时提升了整体生成质量。
除这两个核心版本外，Pixal3D还形成了以下生态衍生版本：ComfyUI原生集成版：2026年9月，TRELLIS.2和Pixal3D正式成为ComfyUI原生支持的3D生成模型，无需自定义节点即可在工作流中使用。GGUF量化版：社区发布了Pixal3D的GGUF量化权重，支持在更低显存配置下运行。多视图扩展版：2026年9月，官方发布了多视图支持版本，使Pixal3D能够从多角度输入生成更完整的3D资产。
第二部分：各版本详细对比与拆解
一、核心版本参数对比
维度 Paper Version（论文版） Main Version（改进版）
代码分支 paper main（默认）
生成骨干 Direct3D-S2 TRELLIS.2
核心方法 像素反投影条件方案 像素反投影条件方案（继承）
3D表示 Direct3D-S2的3D表示 TRELLIS.2的O-Voxel稀疏体素
输出格式 GLB网格 + PBR纹理 GLB网格 + PBR纹理
默认管线分辨率 论文设定分辨率 1536（标准模式）/ 1024（低显存模式）
训练代码 论文对应版本 2026年5月已发布
开源许可 pixal3d-license pixal3d-license
适用场景 学术复现 生产使用
两个版本共享同一个核心技术创新——像素反投影条件方案。传统方法通过注意力机制松散地将图像特征注入3D表示，导致生成结果与输入图像在像素级别上存在模糊的对应关系。Pixal3D通过显式的反投影操作，将源图像的像素特征“投射”回3D特征体积中，使源图中的颜色和细节留在它们原本所在的表面上。这一方案消除了空间猜测，使生成结果达到接近重建级别的保真度。
Main Version与Paper Version的核心差异在于生成骨干的替换。TRELLIS.2作为微软研究院开发的40亿参数3D生成模型，其O-Voxel表示和稀疏压缩VAE架构提供了更高效的3D潜在空间。Pixal3D的改进版直接复用TRELLIS.2的骨干网络、VAE和DINOv3图像条件模块，仅在TRELLIS.2的基础上叠加像素反投影条件方案，从而在保留像素对齐能力的同时获得了TRELLIS.2级别的生成质量和速度。
二、核心技术架构拆解
Pixal3D的技术架构由两个核心组件构成，这两个组件在两个版本中保持一致，仅底层骨干不同。
像素反投影条件方案是Pixal3D区别于所有其他图像转3D模型的核心创新。传统方法（如TRELLIS、LRM系列）通过交叉注意力机制将图像特征注入3D潜在空间——图像特征以“全局条件”的形式被模型参考，但模型并不明确知道每个图像像素对应3D空间中的哪个位置。Pixal3D的做法则完全不同：它将多尺度2D图像特征通过相机参数显式反投影到3D特征体积中，建立像素到3D空间位置的直接、无歧义的对应关系。
这一设计的实际效果是：当输入图像的前视图与生成3D模型的正面渲染图进行对比时，两者在像素级别上高度一致。Pixal3D在基准测试中取得了89.10的分数，显著优于Hunyuan3D-2.1（83.33）、TRELLIS（79.48）和TripoSG（73.54）。这意味着对于需要高保真还原输入图像的产品展示、电商3D化等场景，Pixal3D具有明确的差异化优势。
多阶段生成管线方面，Pixal3D采用两阶段几何生成流程，用户可以使用默认的1536分辨率标准模式，或在显存受限时切换至1024分辨率低显存模式。管线最终输出GLB网格文件，包含完整的PBR纹理（基础色、粗糙度、金属度等）。
三、与TRELLIS.2的关系与差异
Main Version与TRELLIS.2之间存在“继承+增强”的关系。Pixal3D的改进版直接复用了TRELLIS.2的骨干网络、VAE和DINOv3图像条件模块，这是其能够快速获得高质量生成能力的基础。但Pixal3D并非简单的TRELLIS.2微调版本——它在TRELLIS.2的生成管线上叠加了独有的像素反投影条件模块，使生成结果与输入图像之间的像素对齐精度大幅提升。
这一差异在多视图场景中表现得尤为明显。学术评估指出，TRELLIS的多视图变体虽然能产生平滑的网格输出，但其多视图保真度仍然有限，难以确保所有视图之间的一致性，偶尔还会引入幻觉。Pixal3D的像素反投影方案通过建立明确的2D-3D对应关系，从根源上减少了这种“空间猜测”带来的不一致性。
在ComfyUI原生集成方面，两个模型共享相同的VAE和图像条件模块，使Pixal3D能够无缝复用TRELLIS.2的ComfyUI基础设施，包括ComfyUI-Trellis2的pixi管理的worker环境和24GB CUDA + flash_attn技术栈。
第三部分：为什么分这么多版本？
一、从“论文复现”到“生产可用”的双轨策略
Pixal3D的版本分化遵循一条清晰的“学术复现—工程优化”双轨策略。Paper Version基于Direct3D-S2骨干，是论文方法论的忠实实现，其存在的意义在于使学术研究者能够精确复现SIGGRAPH 2026论文中报告的所有实验结果。Main Version基于TRELLIS.2骨干，是面向实际使用的工程优化版本，其存在的意义在于将论文中的技术创新（像素反投影）与当前最先进的3D生成骨干（TRELLIS.2）相结合，提供更好的生成质量和推理效率。
这一双轨策略的价值在于：它同时满足了两个不同用户群体的需求。学术研究者需要可复现的实验基线来验证和对比方法创新，工程开发者需要可实际部署的高性能模型来构建应用。如果只保留一个版本，要么牺牲可复现性（论文结果无法验证），要么牺牲实用性（使用过时的骨干网络）。
二、TRELLIS.2骨干的技术优势
选择TRELLIS.2作为改进版骨干，是基于其O-Voxel表示在多方面的技术优势。TRELLIS.2的O-Voxel“无场”稀疏体素结构能够同时描述几何与材质属性，并支持表达任意拓扑结构，包括开放表面、非流形几何和内部封闭空间。其稀疏3D VAE实现16倍空间压缩，使512³分辨率下生成仅需约3秒，1024³约17秒。相比之下，Direct3D-S2的3D表示在处理复杂拓扑时的灵活性较低，且生成效率不占优势。
Pixal3D的像素反投影条件方案与TRELLIS.2的O-Voxel表示形成了良好的技术协同。反投影将2D特征提升到3D空间，O-Voxel表示在3D空间中高效编码几何和材质——两者结合使Pixal3D在保持像素对齐精度的同时获得了TRELLIS.2级别的生成质量。
三、开源生态的深度整合
Pixal3D的版本分化还服务于开源生态的深度整合。以pixal3d-license开源，模型权重和推理代码在GitHub和Hugging Face上完全开放。Main Version的TRELLIS.2骨干选择使其能够直接复用TRELLIS.2的ComfyUI基础设施和社区生态，大幅降低了集成成本。2026年9月TRELLIS.2和Pixal3D正式成为ComfyUI原生支持的3D生成模型，用户可以在ComfyUI中直接加载Pixal3D工作流，无需手动安装自定义节点或编译CUDA扩展。
四、多视图扩展的技术演进
2026年9月，Pixal3D发布了多视图支持版本，将生成能力从单张图像扩展到多角度输入。多视图输入使模型能够利用多个视角的信息来推断物体的完整几何结构，显著改善了单视图输入中“看不到的背面”的生成质量。这一扩展使Pixal3D从“单图快速原型工具”升级为“多视图高保真重建平台”，覆盖了从快速草稿到精细重建的完整需求光谱。
第四部分：最著名版本——Main Version 本地部署实战
Main Version（基于TRELLIS.2骨干的改进版）是Pixal3D系列中官方推荐的默认版本，提供最佳的生成质量和推理效率。以下为完整的本地部署步骤。
步骤一：环境准备与硬件规划
硬件配置基准：
标准模式：NVIDIA GPU，显存24GB及以上（如RTX 3090/4090），管线分辨率1536
低显存模式：NVIDIA GPU，显存12GB及以上，管线分辨率1024，按需加载模型以降低峰值显存
内存：32GB DDR4及以上
存储：预留30GB SSD空间
操作系统：Ubuntu 22.04 LTS或Windows 11
软件环境清单：
Python 3.10+
PyTorch 2.5+，CUDA 12.1+
TRELLIS.2基础环境（需先完成TRELLIS.2的安装）
natten 0.21.0（稀疏注意力加速库）
步骤二：安装TRELLIS.2基础环境
Pixal3D的Main Version依赖TRELLIS.2的运行环境，需先完成TRELLIS.2的安装：
bash
git clone https://github.com/microsoft/TRELLIS.2.git
cd TRELLIS.2
# 按照TRELLIS.2的安装指南完成环境配置
步骤三：克隆Pixal3D仓库并安装依赖
bash
git clone https://github.com/TencentARC/Pixal3D.git
cd Pixal3D
# 安装额外依赖
pip install -r requirements.txt
# 安装natten（需替换xx为实际CUDA架构和构建工作线程数）
NATTEN_CUDA_ARCH="xx" NATTEN_N_WORKERS=xx pip install natten==0.21.0 --no-build-isolation
# 安装utils3d
pip install https://github.com/LDYang694/Storages/releases/download/20260430/utils3d-0.0.2-py3-none-any.whl
步骤四：命令行推理生成3D网格
bash
# 标准模式（1536分辨率）
python inference.py --image assets/images/0_img.png --output ./output.glb
# 低显存模式（1024分辨率，按需加载模型）
python inference.py --image assets/images/0_img.png --output ./output.glb --low_vram
# 强制指定分辨率
python inference.py --image assets/images/0_img.png --output ./output.glb --resolution 1536
如果未安装flash_attn，可使用PyTorch内置的SDPA后端：
bash
ATTN_BACKEND=sdpa python inference.py --image assets/images/0_img.png --output ./output.glb --low_vram
步骤五：Gradio Web界面部署
bash
python app.py
浏览器访问 http://localhost:7860，上传图像即可交互式生成3D网格。低显存模式同样适用于Web演示，前端默认分辨率会自动切换至1024。
步骤六：ComfyUI工作流集成
Pixal3D已原生支持ComfyUI。确保已安装ComfyUI-Trellis2（TRELLIS.2的ComfyUI节点包），Pixal3D节点将复用TRELLIS.2的worker环境和comfy_env基础设施。在ComfyUI中搜索“Pixal3D”即可加载官方工作流，支持从单张图像生成带完整PBR纹理的高保真3D模型。
步骤七：训练自定义模型（可选）
2026年5月，官方发布了训练代码和数据准备工具包。如需在自有数据上微调Pixal3D，可参考仓库中的训练文档。注意训练需要更高的硬件配置（多卡A100/H100），且需准备符合Pixal3D数据格式的3D训练数据集。
第五部分：不同版本的实践结果
案例一：WorldSculpt组合式世界生成（基于Paper Version）
WorldSculpt项目将Pixal3D集成到组合式3D世界生成流程中。研究团队在每个物体的独立生成阶段运行Pixal3D的两个几何生成阶段，并使用多视图条件描述来确保同一物体在不同视角下的一致性。团队从Pixal3D发布的检查点初始化两个几何阶段，然后在TexVerse数据集上进行独立微调。
实践成效：这一案例的核心价值在于验证了Pixal3D在组合式场景生成中的基础组件价值。WorldSculpt并非直接使用Pixal3D生成最终场景，而是将其作为“单物体高质量3D资产生成器”嵌入到更大的世界构建管线中。Pixal3D的像素反投影方案使每个独立生成的3D物体与源视频中的像素保持高保真对齐，为后续的场景组合提供了准确的几何和纹理基础。
案例二：ComfyUI工作流电商3D化——单图生成带PBR纹理的商品模型（基于Main Version）
ComfyUI官方文档提供了Pixal3D的图像到3D模型工作流示例，展示从单张商品照片生成具有完整PBR材质的高保真3D模型。fal.ai平台上的Pixal3D API案例包括现代斯堪的纳维亚风格休闲椅、未来感高帮运动鞋和风格化维京战士角色等电商和游戏资产。
实践成效：Pixal3D在电商场景中的核心价值在于像素对齐带来的“所见即所得”保真度。传统图像转3D模型生成的产品模型往往与商品照片存在颜色偏差、纹理错位或细节丢失，需要设计师手动修正。Pixal3D的反投影方案确保源图中的产品颜色、材质纹理和细节特征留在它们原本所在的表面上，生成的GLB模型可直接用于电商平台的3D商品展示，无需大量后期修正。
案例三：游戏资产管线——从概念图到引擎就绪模型（基于Main Version）
Bilibili UP主发布的实测视频对Pixal3D与Trellis 2、Tripo 3.1、混元3.1等主流模型进行了对比测试。测试覆盖写实风格和输入图像一致性两个维度。实测结果显示，Pixal3D在写实风格和输入图像一致性上被评价为“表现最强”，获得了最高赞。多位用户指出其mesh表面细节丰富度仍不如Tripo 3.1和混元3.1，但前视图与输入图像的像素级对齐精度是Pixal3D最突出的优势。
实践成效：这一案例代表了Pixal3D在游戏资产快速原型场景中的实用定位。游戏开发者在预制作阶段需要从概念图快速生成可用的3D模型，用于验证美术方向和关卡设计。Pixal3D的像素对齐能力确保生成的角色或道具与概念设计图在视觉上高度一致，美术师可以在AI生成的基础上进行精修，而无需担心“AI生成结果与设计图偏差过大”的问题。对于需要从多角度参考图生成统一角色的场景，2026年9月发布的多视图扩展版本进一步提升了背面几何的生成质量。
版权声明：本平台仅提供信息存储空间服务，用户发布内容不代表本站观点，交易风险自担；侵权违法内容请立即举报（邮箱：37996619@qq.com），本站接通知后先行屏蔽，责任由发布者承担。