EditVerse3D: 영역 인식 학습을 통한 고품질 3D 객체 편집
EditVerse3D: High-Quality 3D Object Editing with Region-Aware Learning
한국어 초록
3D 객체의 국소 영역 편집은 오랜 과제로 남아 있습니다. 인간은 3D 콘텐츠와 상호작용할 때 정밀한 편집 경계를 정의하기보다는 수정하려는 대략적인 관심 영역을 지정하는 경향이 있습니다. 그러나 기존 방식들은 완전히 편집된 2D 이미지, 정밀한 3D 마스크, 또는 중복적인 파이프라인에 의존하여 이러한 사용 방식과의 괴리가 존재합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 대략적인 안내(coarse guidance) 하에서도 고품질 객체 편집을 가능하게 하는 새로운 3D 편집 프레임워크인 EditVerse3D를 제안합니다. 제안하는 접근법은 편집할 3D 객체, 대상 영역을 나타내는 대략적인 3D 경계 상자(bounding box), 원하는 수정을 설명하는 참조 2D 이미지를 입력으로 받아 일관되고 충실도 높은 편집된 3D 객체를 생성합니다. 이러한 편집을 촉진하기 위해, 학습(training)하기 어려운 영역을 강조하고 대상 영역과 보존 영역 간의 목표 균형을 맞추는 새로운 영역 인식 적응형 손실(loss)을 도입합니다. 또한 손실 함수를 보완하여 크기가 조절된 3D 마스크를 활용한 학습 및 비현실적인 편집 쌍 필터링과 같은 목표 지향적 데이터 증강을 통해 모델(model)의 견고성과 일반화 능력을 향상시킵니다. 아울러 파트 정보를 바탕으로 대규모 3D 편집 데이터셋(dataset)을 구축합니다. 광범위한 실험을 통해 EditVerse3D가 기존 3D 편집 접근법에 비해 우수한 시각적 품질과 정량적 성능을 달성함을 입증합니다. 프로젝트 페이지는 https://editverse3d.github.io 에서 확인할 수 있습니다.
원문 초록
Local editing of 3D objects remains a long-standing challenge. When interacting with 3D content, humans naturally tend to specify a coarse region of interest for modification rather than defining precise editing boundaries. However, previous methods rely on fully edited 2D images, precise 3D masks, or redundant pipelines, which present a gap. To bridge this gap, we propose EditVerse3D, a novel 3D editing framework that enables high-quality object editing under such coarse guidance. Our approach takes as input a 3D object to be edited, a coarse 3D bounding box indicating the target region, and a reference 2D image describing the desired modification. It produces a coherent, high-fidelity edited 3D object. To facilitate this editing, we introduce a novel region-aware adaptive loss that emphasizes hard-to-learn regions and balances the objective between target and preserved areas. Complementing our loss function, we enhance model robustness and generalization through targeted data augmentations, such as training with scaled 3D masks and filtering out unrealistic editing pairs. We construct a large-scale 3D editing dataset derived from parts information. Extensive experiments demonstrate that EditVerse3D achieves superior visual quality and quantitative performance compared to existing 3D editing approaches. Please visit our project page at https://editverse3d.github.io.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
AnalogDepth: 아날로그 비디오 전송 환경에서 FPV 드론을 이용한 다중 시점 기하학
AnalogDepth: Multi-view Geometry from FPV drones under Analog Video Transmission
아날로그 비디오 전송(VTX)은 낮은 지연 시간, 가벼운 무게, 저비용 덕분에 FPV 드론에서 여전히 널리 사용된다. 그러나 아날로그 VTX는 표준 학습 증강에 사용되는 디지털 이미지 손상(예: AWGN)과는 근본적으로 다른, 복잡하고 공간적으로 구조화된 이미지 열화를 겪는다. 본 연구는 이러한 유형의 노이즈가 최신 피드포워드 시각 기하학 파운데이션 모델인 Depth Anything 3(DA3)의 정확도를 심각하게 저하시킨다는 것을 보인다. 이러한 격차를 해소하기 위해, 우리는 DINOv2 백본에 주입된 Low-Rank Adaptation(LoRA)을 활용한 학생-교사 지식 증류를 통해 DA3를 아날로그 FPV 영상에 적응시키는 매개변수 효율적 학습 파이프라인인 AnalogDepth를 제시한다. 노이즈를 분석적으로 합성하는 대신, 우리는 다양한 조건에서 촬영된 정적 FPV 녹화 영상으로부터 노이즈 뱅크를 구축하고, 실제 노이즈 주입을 PSD 매칭 가우시안 합성 및 AWGN 기준선과 비교한다. 세 곳의 실내 장면에서 촬영된 여섯 개의 실제 FPV 비행 시퀀스에 대한 실험 결과, 우리의 노이즈 뱅크를 이용한 학습이 사전학습된 DA3 기준선 및 두 가지 가우시안 노이즈 변형과 비교하여 프레임별 깊이 RMSE와 3D 재구성 챔퍼 거리(Chamfer distance)를 일관되게 감소시킨다는 것을 보여준다. 이러한 결과는 실제 아날로그 전송 노이즈의 공간적 구조를 재현하는 것이 효과적인 적응에 필수적임을 보여준다.
TanGO: 접공간 가이던스와 최적화를 통한 학습 불필요 3D 편집
TanGO: Training-Free 3D Editing via Tangent-Space Guidance and Optimization
최근 flow-matching 3D 생성 모델(예: VecSet)은 구조화된 표현을 채택하지만, 토큰들이 전역 컨텍스트를 공유하여 기존의 학습 불필요 편집 방식에서는 보존 영역의 붕괴나 불완전한 변환과 같은 의미적 아티팩트가 발생하는 문제가 있다. 이를 해결하기 위해, 우리는 생성 역학의 접공간에서 적응적 토큰별 조향을 가능하게 하는 학습 불필요 프레임워크인 TanGO를 제안한다. 이러한 선택적 제어를 실현하기 위해, 우리는 일단계 최적 제어 규칙을 수립하고, 소스 및 타깃 속도 필드에서 도출한 von Mises-Fisher 영감의 방향 불일치를 사용하여 각 토큰의 제어 신호 강도를 결정한다. 실험 결과, TanGO는 구조적 아티팩트를 상당히 줄이며 기존 3D 편집 베이스라인을 능가하는 최첨단 성능을 달성한다. 코드는 https://github.com/siw00-lim/TanGO 에서 공개되어 있다.
Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성
Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation
3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.
RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학
RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction
피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.
고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력
Accuracy potential of visual localization exploiting high-end street-level imagery
VIGOR: 모델 기반 강화학습에서 잠재 공간 일관성을 통한 제로샷 시각적 일반화
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted to ECCV 2026. Project page: https://editverse3d.github.io/