跳过正文
  1. 科研/

TransSplat: Unbalanced Semantic Transport for Language-Driven 3DGS Editing

作者
李佳鸿
记录科研、工程实践与长期学习。
科研

Language-Driven 3D Gaussian Splatting Editing

面向语言驱动的 3D Gaussian Splatting 场景编辑,研究多视角编辑中的语义对应与一致性问题

TransSplat: Unbalanced Semantic Transport for Language-Driven 3DGS Editing
状态
Under Review
年份
2027
发表场所
AAAI
作者:Yanhui Chen, Jiahong Li, Jingchao Wang, Junyi Lin, Zixin Zeng, Yang Shi

摘要

TransSplat 面向语言驱动的 3D Gaussian Splatting 场景编辑问题,关注二维编辑结果重新映射到三维场景时所面临的多视角语义不一致问题。在语言指令驱动下,不同视角中的目标区域可能受到遮挡、视角变化和编辑噪声影响,从而导致编辑语义难以稳定对应。该研究围绕多视图语义对应与一致性建模展开,通过在二维编辑与三维场景表示之间建立更稳定的语义传递关系,提高语言驱动三维场景编辑的一致性与可靠性。
BibTeX
map[code: lang:plain]

分享

研究背景
#

3D Gaussian Splatting(3DGS)能够以显式高斯表示实现高质量、实时的新视角合成,也为三维场景编辑提供了新的技术路径。

语言驱动的三维场景编辑通常需要先根据文本指令修改多个二维视图,再将修改结果重新融合到三维场景中。然而,不同视角之间存在遮挡、尺度变化、编辑噪声以及语义歧义,使得同一目标在不同视图中的编辑结果可能不一致。

研究问题
#

本研究重点关注多视角编辑过程中的语义对应与一致性问题,包括:

  • 不同视角下目标区域的语义对应;
  • 遮挡和视角变化导致的匹配困难;
  • 二维生成模型带来的跨视角编辑噪声;
  • 多视图编辑结果向三维表示迁移时的一致性。

方法概述
#

整体流程可以概括为:

文本编辑指令 → 多视图二维编辑 → 多视角语义对应 → 一致性约束 → 3DGS 场景更新。

研究通过更加合理的语义传递机制,在不同视图之间建立编辑区域的对应关系,并将多视角信息重新融合至三维场景表示。

我的参与
#

本人作为论文第二作者,参与相关工作调研、部分实验及结果分析,并对语言驱动三维场景编辑、多视图一致性和 3D Gaussian Splatting 等相关方法进行了学习与实践。

当前状态
#

论文目前处于审稿阶段。

相关文章