3D 편집 방법들은 대개 단일 편집에 대해서만 테스트되지만, 실제 에셋은 일련의 긴 수정 과정을 거쳐 제작되며 각 수정 단계는 요청된 변경 사항을 적용하는 동시에 다른 모든 부분은 그대로 유지해야 합니다. 본 연구에서는 우리가 아는 한 기하학(geometry)과 텍스처 모두에 대한 자연어 명령어 및 목표 이미지를 포함하는 최초의 장기적(long-horizon) 파트 단위 3D 편집 벤치마크인 EditHero를 소개합니다. 결정론적 어셈블리 엔진이 매 편집 후 정확한 목표 형상을 생성하며, 모든 시퀀스는 수작업으로 검토됩니다. 우리는 EditHero를 사용하여 3D 편집에 대한 두 가지 상반된 접근 방식을 비교합니다. 비에이전트(non-agentic) 방식은 탑다운(top-down) 방식으로 작동하여, 학습된 3D 표현으로부터 객체를 재생성하고 유지할 부분을 추론합니다. 반면에 대규모 언어 모델/비전-언어 모델(LLM/VLM) 에이전트는 바텀업(bottom-up) 방식으로 작동하여, 메시를 검사하고 명령어에서 요구하는 부분만을 재작성하는 코드를 통해 편집합니다. 비에이전트 방식은 요청된 변경 사항을 놓치거나 고정되어 있어야 할 영역을 훼손하는 경우가 많습니다. 대부분의 LLM은 명령어를 더 밀접하게 따르며, 모두 편집되지 않은 부분을 더 잘 보존하지만 각 편집에 수분이 소요됩니다. 우리는 신뢰할 수 있는 반복적 3D 편집 연구를 지원하기 위해 엔진과 편집 시퀀스를 공개할 예정입니다.
3D 객체의 국소 영역 편집은 오랜 과제로 남아 있습니다. 인간은 3D 콘텐츠와 상호작용할 때 정밀한 편집 경계를 정의하기보다는 수정하려는 대략적인 관심 영역을 지정하는 경향이 있습니다. 그러나 기존 방식들은 완전히 편집된 2D 이미지, 정밀한 3D 마스크, 또는 중복적인 파이프라인에 의존하여 이러한 사용 방식과의 괴리가 존재합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 대략적인 안내(coarse guidance) 하에서도 고품질 객체 편집을 가능하게 하는 새로운 3D 편집 프레임워크인 EditVerse3D를 제안합니다. 제안하는 접근법은 편집할 3D 객체, 대상 영역을 나타내는 대략적인 3D 경계 상자(bounding box), 원하는 수정을 설명하는 참조 2D 이미지를 입력으로 받아 일관되고 충실도 높은 편집된 3D 객체를 생성합니다. 이러한 편집을 촉진하기 위해, 학습(training)하기 어려운 영역을 강조하고 대상 영역과 보존 영역 간의 목표 균형을 맞추는 새로운 영역 인식 적응형 손실(loss)을 도입합니다. 또한 손실 함수를 보완하여 크기가 조절된 3D 마스크를 활용한 학습 및 비현실적인 편집 쌍 필터링과 같은 목표 지향적 데이터 증강을 통해 모델(model)의 견고성과 일반화 능력을 향상시킵니다. 아울러 파트 정보를 바탕으로 대규모 3D 편집 데이터셋(dataset)을 구축합니다. 광범위한 실험을 통해 EditVerse3D가 기존 3D 편집 접근법에 비해 우수한 시각적 품질과 정량적 성능을 달성함을 입증합니다. 프로젝트 페이지는 https://editverse3d.github.io 에서 확인할 수 있습니다.
최근 flow-matching 3D 생성 모델(예: VecSet)은 구조화된 표현을 채택하지만, 토큰들이 전역 컨텍스트를 공유하여 기존의 학습 불필요 편집 방식에서는 보존 영역의 붕괴나 불완전한 변환과 같은 의미적 아티팩트가 발생하는 문제가 있다. 이를 해결하기 위해, 우리는 생성 역학의 접공간에서 적응적 토큰별 조향을 가능하게 하는 학습 불필요 프레임워크인 TanGO를 제안한다. 이러한 선택적 제어를 실현하기 위해, 우리는 일단계 최적 제어 규칙을 수립하고, 소스 및 타깃 속도 필드에서 도출한 von Mises-Fisher 영감의 방향 불일치를 사용하여 각 토큰의 제어 신호 강도를 결정한다. 실험 결과, TanGO는 구조적 아티팩트를 상당히 줄이며 기존 3D 편집 베이스라인을 능가하는 최첨단 성능을 달성한다. 코드는 https://github.com/siw00-lim/TanGO 에서 공개되어 있다.
The rise of 3D Gaussian Splatting has revolutionized photorealistic 3D asset creation, yet a critical gap remains for their interactive refinement and editing. Existing approaches based on diffusion or optimization are ill-suited for this task, as they are often prohibitively slow, destructive to the original asset's identity, or lack the precision for fine-grained control. To address this, we introduce SplatPainter, a state-aware feedforward model that enables continuous editing of 3D Gaussian assets from user-provided 2D view(s). Our method directly predicts updates to the attributes of a compact, feature-rich Gaussian representation and leverages Test-Time Training to create a state-aware, iterative workflow. The versatility of our approach allows a single architecture to perform diverse tasks, including high-fidelity local detail refinement, local paint-over, and consistent global recoloring, all at interactive speeds, paving the way for fluid and intuitive 3D content authoring.
본 논문에서는 2D 명령어 기반 확산(diffusion)과 3D 가우시안 스플래팅(3D Gaussian Splatting)을 통합한 동적 3D 헤드 편집을 위한 통합 프레임워크인 Edit3DGS를 제안합니다. 프레임 기반 편집이나 정적 3D 재구성을 각각 다루는 기존 접근 방식과 달리, 우리의 방법은 이미지 도메인에서의 의미적 제어성을 사실적(photorealistic)이고 시간적으로 일관된 3D 표현과 결합합니다. 입력 비디오가 주어지면, 텍스트 조건부 확산 모델(text-conditioned diffusion model)을 사용하여 편집 가능한 얼굴 영역을 마스킹하고 수정하여 표정 변환, 속성 수정, 외관 개선과 같은 세밀한 작업을 지원합니다. 편집된 프레임은 3D 가우시안 스플래팅을 통해 집계되어 정체성과 동역학적 움직임을 모두 보존하는 일관되고 고충실도의 아바타를 생성합니다. 일관성을 강화하기 위해 Edit3DGS는 타임스텝(timestep) 전반에서 손실된 표정을 복구하는 다중 뷰 배치 편집(multi-view batch editing) 및 경량 인페인팅(inpainting) 전략을 통합합니다. 실험 결과는 우리의 프레임워크가 부드러운 시간적 전이를 통해 제어 가능하고 인공물이 없는 헤드 편집을 가능하게 하며, 가상 아바타, 몰입형 커뮤니케이션, 영화 제작 및 대화형 미디어에 실용적인 응용을 제공함을 보여줍니다.