重点与成果：改变真正重要的事物
原论文：SeMo3D：通过选择性建模统一 3D 生成、编辑与补全
由南京大学研究人员提出的 SeMo3D，将 3D 生成、局部编辑和补全整合到一个框架中。对于探索 AI 资产创建的团队而言，其核心价值在于连续性：创建一个对象、修改指定区域，或重建缺失部分，同时保留已有上下文。该名称代表 Selective Modeling（选择性建模），即将待合成区域作为这些任务的通用接口。官方代码仓库。
在 Toys4K 上，作者报告的几何 Chamfer Distance 为 0.0118，而 TRELLIS.2 为 0.0330（越低越好）。编辑保真度达到 37.39 dB PSNR，而 VoxHammer 为 31.55 dB。在额外点引导下，补全 F-score 达到 0.541，而 HY3D-Omni 为 0.412。不同方法支持的输入有所差异，且点提示来自真实标注；这些比较并未隔离架构带来的增益。论文，表 1–3。
工作原理：选择、合成、保留
核心抽象将资产划分为选定区域 S 和保留上下文 C。生成任务选择全部内容；编辑任务选择目标区域；补全任务选择缺失部分。以椅子为例，同一个接口可以创建整把椅子、更换椅背，或重建缺失的椅腿。这些是对任务定义的示例性用法。模型学习的是共享的区域合成问题，而不是要求针对每项任务分别设计训练方案。代码仓库概览。
SeMo3D 在 Trellis-500K 上微调 TRELLIS.2 的三个流模型，并复用其 SC-VAE。稀疏结构在 16³ 潜空间网格上预测占用情况；形状和纹理在 32³ 网格中的已占用位置上运行，从而生成几何体和 PBR 材质。掩码会在各阶段之间传递。因此，任务统一仍然使用三个阶段专用模型。论文、方法与训练细节。
区域选择性去噪从普通资产中创建训练样本。随机区域接收噪声，而其周围区域保持干净；只有该区域内的预测参与损失计算。训练范围从局部框到完整资产，避免了对成对的编辑前后或补全数据集的依赖。在推理时，选定的 token 从噪声开始，并在引导下逐步演化，同时原始上下文 token 在每一步都会被复用。因此，模型可以参考整个对象，而无需重新合成其全部内容。官方方法说明。
Omni3DiT 使模型能够理解这种混合输入。角色嵌入用于标识选定 token 和上下文 token。并行交叉注意力分支注入 DINOv3 图像特征和 CLIP 文本特征；在稀疏结构阶段，点 token 进入自注意力。图像引导外观，文本补充语义意图，点约束空间布局。条件丢弃会在训练期间改变可用的引导信息，促使模型使用互补信号。官方架构图。
图像仍然是必需的。生成任务每个阶段使用 12 个 Euler 步；编辑和补全任务在结构阶段使用 50 步，在形状和纹理阶段使用 12 步。严格保留适用于潜变量 token，但不一定适用于每个解码后的顶点。论文与推理附录。
应用与未来发展
实际机会在于迭代式工作：探索道具变体、修复不完整的参考对象，以及通过连续指令逐步优化资产。官方项目还展示了代理工作流：准备参考图像、识别编辑区域，并调用 SeMo3D。这表明了一种有用的分工：代理将意图转化为建模请求，而 3D 模型负责区域合成。交互式项目演示。
目前的可用性仍然有限。截至 2026 年 11 月 6 日核查时，官方代码仓库包含文档和演示资产；权重以及训练、推理和评估代码仍未发布。其 MIT 许可证并未为未来权重确立许可条款。本文评述论文和现有代码仓库，不声称进行了独立复现。发布清单。
作者提出了两个研究方向。更高保真的 3D 表示可以更好地捕捉棕榈叶等细薄结构，而当前的结构化潜变量难以解析这些结构。更强的视觉语言编码器可以改善对复杂组合提示的理解；论文展示了橙色水果变成橙色纹理，而不是彼此独立的对象。局限与未来工作。该项目剩余的发布里程碑是 在 Hugging Face 上发布模型权重，以及完整的推理、训练和评估代码。官方 TODO 列表。
常见问题
SeMo3D 能仅根据文本生成或编辑资产吗？
不能。论文要求图像引导；文本和稀疏点是可选的附加条件。编辑还需要选定区域和源上下文。自然语言代理演示包含图像准备步骤，并未移除对图像的要求。来源。
我可以在保留其他部分的同时替换椅背吗？
这正是预期的局部编辑工作流示例：选定椅背区域，提供引导信息，并在复用上下文 token 的同时合成该区域的 token。精确保留适用于潜变量 token；不应将其理解为保证每个解码后的顶点都保持不变。来源。
我现在可以在本地部署 SeMo3D 吗？
截至 2026 年 11 月 6 日核查时，模型权重以及完整的推理、训练和评估代码仍属于尚未完成发布的里程碑。公开论文和演示支持技术评估，但代码仓库尚未提供完整的本地部署技术栈。来源。
FAQ
SeMo3D 能否仅根据文本生成或编辑资源？
不是。该论文要求图像引导；文本和稀疏点是可选的附加条件。编辑还需要选定区域和源上下文。自然语言智能体演示包括图像准备，而不是移除图像要求。[来源](https://arxiv.org/html/2611.02568v1#S3.SS2)。
我可以在保留其他部分的情况下更换椅背吗？
这说明了预期的本地编辑工作流：选择靠背区域，提供指导，并在复用上下文 token 的同时合成其中的 token。精确保留针对的是潜在 token；不应将其理解为保证每个解码后的顶点都保持完全一致。[来源](https://arxiv.org/html/2611.02568v1#S3.SS3)。
现在可以在本地部署 SeMo3D 了吗？
截至 2026 年 11 月 6 日的检查结果，模型权重以及完整的推理、训练和评估代码仍是尚未完成的发布里程碑。公开论文和演示支持技术评估，但代码仓库目前尚未提供完整的本地部署栈。[来源](https://github.com/XiaokunSun/SeMo3D#-todo)
