arXiv:2606.24628v1 cs.RO

ArtiTwinSplat: Interactable Digital Twin Reconstruction via Gaussian Splatting from RGB-D videos

Pranjal Mishra, René Zurbrügg, Max Wilder-Smith, Marco Hutter, Marc Pollefeys, Zuria Bauer, Hermann Blum

제출 2026-06-23

원문 초록

Deploying robots in unstructured real-world environments needs accurate, interactive models of the objects. Constructing these models at scale remains a critical bottleneck for robotic system integration. We present ArtiTwinSplat, a framework that automatically constructs articulated, photo-realistic digital twins of objects directly from RGB-D videos, requiring no CAD models, simulation assets, or manual annotations. Our method is built on 3D Gaussian Splatting that preserve geometric fidelity and photometric realism, coupled with an unsupervised articulation discovery pipeline that recovers part structure and joint kinematics from observed motion alone. With tracking and optimization stages our method provides stable, queryable digital twins that support real-time rendering, viewpoint control, and interactive manipulation. Unlike prior methods confined to simulation, ArtiTwinSplat operates directly on real-world observations and produces twins that are immediately usable by downstream robot planning and learning systems. This method offers a practical, scalable pathway toward digital twin construction, lowering the integration barrier for articulated object manipulation in embodied AI and human-robot collaboration contexts.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.24628v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10960v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, Novel View Synthesis

LVSPM: 긴 시퀀스 뷰 합성 및 포즈 추정 모델

LVSPM: Long Sequence View Synthesis and Pose Estimation Model

본 논문은 보정되지 않은(uncalibrated) 이미지 집합으로부터 카메라 포즈를 추정하고 새로운 뷰(novel view)를 합성하는 작업을 동시에 수행하는 일반화 가능한 모델인 LVSPM을 제안한다. LVSPM은 RGB 이미지와 포즈 감독(supervision)만으로 학습되며, 밀집(dense) 3D 정답(ground truth)을 필요로 하지 않고, 테스트 시점 학습(test-time training, TTT) 레이어를 사용하여 수백 개의 입력 뷰로도 원활하게 확장된다. RealEstate10k, Co3Dv2, DL3DV 데이터셋에서 LVSPM은 16~256개 뷰 구간에서 포즈 추정 성능이 VGGT를 능가하며, 특히 엄격한(strict) 임계값(threshold)에서 그 격차가 더욱 크게 나타난다. 더 많은 뷰가 더 큰 장면(scene)을 포괄하는 실용적인(practical) 프로토콜 하의 새로운 뷰 합성(novel view synthesis)에서, LVSPM은 포즈를 사용하지 않는(pose-free) 방식으로 최고 수준(state-of-the-art)의 품질을 달성하며---PSNR 기준으로는 포즈에 의존하는(pose-dependent) 모델조차 능가한다---장면 규모가 커질수록 기준선(baseline) 모델들의 성능이 붕괴되는 것과 달리 높은 품질을 계속 유지한다. 코드는 https://burningdust21.github.io/Projects/LVSPM 에서 확인할 수 있다.

arXiv:2610.03716v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, articulated objects

MoSE3: 모든 픽셀에서 월드 공간 SE(3) 학습하기

MoSE3: Learning World-Space SE(3) at Every Pixel

밀집 3D 포인트 트래킹(Dense 3D point tracking)은 동적 장면의 모션을 모델링하는 주요 패러다임이었으나, 포인트 트랙은 픽셀당 3자유도(3-DoF) 이동 궤적에 불과하여 픽셀의 이동 위치만을 포착할 뿐 해당 부위의 회전이나 어떤 픽셀들이 하나의 강체로 함께 움직이는지는 포착하지 못합니다. 본 논문에서는 단안 RGB 비디오로부터 밀집 SE(3) 모션을 예측하여 월드 공간의 모든 픽셀에서 완전한 6자유도(6-DoF) 강체 변환을 생성하는 최초의 피드포워드 모델인 MoSE3를 제안합니다. 픽셀별 SE(3) 모션은 회전, 이동 및 그룹화를 한 번에 제공하여 장면의 움직임에 대한 더욱 풍부한 시각을 제공합니다. SE(3)를 직접 예측하는 것은 어렵습니다. 회전은 유클리드 회귀에 적합하지 않은 곡면 다양체(curved manifold)에 놓여 있으며, SE(3) 어노테이션을 획득하기가 특히 까다롭기 때문입니다. 이러한 문제를 해결하기 위해 MoSE3는 함께 학습되는 두 가지 중간 매개체인 3D 포인트 트랙과 강체 임베딩(rigidity embedding)을 통해 픽셀별 SE(3)를 예측하며, 각 소프트 강체 클러스터 내에서 변환을 미분 가능하게 피팅하여 SE(3)를 복원함으로써 엔드투엔드 예측 및 지도를 가능하게 합니다. 데이터 격차를 해소하기 위해, 풍부한 물리적 상호작용을 갖는 관절체(articulated object)에 대한 밀집 SE(3) 및 강체 라벨을 포함하는 대규모 합성 데이터셋인 Art-Kubric을 소개합니다. MoSE3는 강체 및 관절체 벤치마크 모두에서 픽셀, 파트 및 객체 수준의 최첨단(state-of-the-art) SE(3) 추정 성능을 달성하고 3개 데이터셋에 걸쳐 최고 수준의 평균 3D 포인트 트래킹 정확도를 달성하는 동시에, 합성 모션 데이터로만 학습되었음에도 실제 비디오에 대해 뛰어난 일반화 성능을 보입니다.

arXiv:2610.01744v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, Novel View Synthesis

3DROID: 씬별 측정된 신뢰도를 갖춘 렌더링 가능한 3D 가우시안 데이터셋

3DROID: A Renderable 3D Gaussian Dataset with Measured Per-Scene Reliability

로봇 조작(manipulation) 모델은 주로 3차원 물리적 세계에서 동작하면서도 2차원 관측으로부터 추론합니다. 이러한 격차를 해소하기 위해 최근 연구에서는 로봇 데이터에 깊이(depth), 점군(point cloud), 3차원 궤적과 같은 기하학적 사전 정보를 보강해 왔으며, 렌더링 가능한 3D 가우시안 표현(3D Gaussian representations) 또한 유망한 또 다른 형태의 3차원 지도(supervision)를 제공합니다. 그러나 3DGS 표현은 주로 측광학적 충실도(photometric fidelity)를 위해 설계되었으며, 특히 제공된 카메라 외부 파라미터(extrinsics)가 신뢰할 수 없는 경우 실제 세계의 미터법 스케일(metric scale)을 보존하지 못할 수 있습니다. 본 연구에서는 피드포워드(feed-forward) 3DGS에서 외부 파라미터 신뢰도와 포즈 조건화(pose conditioning)가 미치는 영향을 조사하고, 재구성된 씬을 로봇의 미터법 작업 공간(metric workspace)에 고정(anchor)하는 캘리브레이션 인식 파이프라인을 제안합니다. 실험 결과, 포즈 조건화는 새로운 시점의 충실도를 향상시키는 반면, 기하학적 이점은 주입된 외부 파라미터의 신뢰도에 따라 좌우됨을 보여줍니다. 이 파이프라인을 활용하여, 로봇 조작 연구를 위한 씬 수준의 신뢰도 정보가 포함된 렌더링 가능하고 미터법 포즈가 고정된 데이터셋을 제시합니다. 해당 데이터셋은 https://huggingface.co/datasets/wonguen/3DROID 에서 이용할 수 있습니다.

arXiv:2609.24487v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, articulated objects

AgentSTAR: 단안 영상으로부터의 에이전트 기반 형상 추적 및 재구성

AgentSTAR: Agentic Shape Tracking and Reconstruction from Monocular Videos

본 연구에서는 에이전트 기반 분석-합성(agentic analysis-by-synthesis) 방식을 통해 영상으로부터 형상을 재구성하고 추적하는 방법을 제안한다. 조밀한 픽셀 대응관계를 먼저 추정한 뒤 이를 바탕으로 물체의 움직임을 복원하는 기존 방법들과 달리, 본 방법은 기하학적 구조와 운동학적 구조를 포함한 구조화된 3D 물체 모델을 추론하고, 이 모델을 사용하여 시간에 따른 물체의 추적(track) 추정치를 최적화한다. 최적화 루프에서 비전-언어 모델(VLM) 에이전트는 렌더링-비교(render-and-compare) 루프를 통해 형상 또는 일반화된 자세(pose)를 반복적으로 정제하며, 개략적 시각적 추론(coarse visual reasoning)과 수치적 자세 최적화를 결합하여 정밀한 상태 추정을 수행한다. 이러한 구조화된 정식화(formulation) 덕분에 본 방법은 픽셀 매칭 목적함수에 의존하지 않고도 큰 움직임, 관절 운동(articulation), 심한 가림(occlusion)을 거치며 추적할 수 있다. 정량적으로, ARCTIC 데이터셋에서 본 방법은 관절형 물체(articulated object)에 대한 최신 3D 포인트 추적(point-tracking) 베이스라인들을 크게 능가하며, HOT3D에서는 평가된 모든 강체(rigid-object) 추적 베이스라인을 능가한다.

arXiv:2607.22717v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, Novel View Synthesis

TOM-GS: 정적 3D 가우시안의 시간적 불투명도 변조를 통한 편집 가능한 비디오 표현

TOM-GS: Editable Video Representation via Temporal Opacity Modulation of Static 3D Gaussians

암시적 신경 표현(INR)과 동적 3D 가우시안 스플래팅(3DGS)은 비디오 처리에서 인상적인 결과를 달성하지만, 쉽게 편집할 수 있는 표현을 만들기에는 종종 부족하다. 최근 방법들은 복잡한 공간 변형이나 접힌 분포를 도입하여 이를 해결하지만, 이는 최적화를 제약하고 하위 편집 작업의 유연성을 줄인다. 본 논문에서는 복잡한 변형 대신 연속적인 시간적 불투명도 공식을 갖춘 일반적인 3D 가우시안을 사용하는 편집 가능한 비디오 표현인 TOM-GS를 제안한다. 각 가우시안의 불투명도에 학습 가능한 시간적 평균과 스케일을 할당함으로써, 모델은 정적 3D 공간 구성 요소가 장면에서 부드럽게 나타났다 사라지도록 한다. 견고한 기성 포즈 추정에 기반하여, 우리 접근법은 정적 공간 기하학을 유지하며 자연스럽게 다양한 수동 및 물리 기반 편집을 지원한다. TOM-GS는 시각적 충실도에서 기존 편집 가능한 비디오 표현을 능가하며, 표준 3D 가우시안에 의존함으로써 기존 3D 편집 도구와의 원활한 호환성을 보장한다.

arXiv:2607.22147v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, Novel View Synthesis

신규 뷰 합성을 통한 에일리어싱·저텍스처 환경에서의 희소 시점 기반 시각적 재국소화

Visual Relocalization from Sparse Views in Aliased and Low-Texture Environments via Novel View Synthesis

행성형 지형과 같이 저텍스처, 지각적 에일리어싱(perceptual aliasing), 혹독한 조명, 그리고 전진 로버 이동과 제약 없는 주행 방향으로 인해 희소하고 겹침이 약한 시점(viewpoint)이 형성되는 환경에서는 시각적 국소화(visual localization)가 극히 어렵다. 이러한 조건에서 최신 image-to-image 및 image-to-map 매칭 파이프라인은 성능이 크게 저하된다. 본 연구에서는 3D Gaussian Splatting(3DGS)로 구축한 미분 가능한 맵 표현에 대해 카메라 포즈를 직접 추정함으로써, 고전적인 대응(correspondence) 기반 파이프라인과 다른 시각적 재국소화(visual relocalization) 방법을 제안한다. 핵심 기여는 광도(photometric) 손실과 기하(geometric) 손실을 결합한 기하 인식(geometry-aware) 학습 전략이며, 기하적 지도(supervision)는 MVS(multi-view stereo)와 LiDAR 깊이를 결합하여 최초로 제공된다. 이 공동 최적화는 기본 장면 기하에 더 잘 부합하는 3DGS 모델을 생성하며, 광도·기하 일관성을 향상시키고 더 견고하고 정확한 단일 이미지 6-DoF 포즈 추정으로 이어진다는 것을 보인다. 행성 유사(planetary-analog) 환경에서 수집한 데이터에 대한 광범위한 실험을 통해 접근법의 효과를 검증했으며, 어려운 조건에서 재국소화 정확도가 크게 향상됨을 보였다. 코드는 https://github.com/DLR-RM/multimodal-gsplat-relocalization 에서 제공된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.