arXiv:2610.01927v1 cs.CV

CLoSeR: 롱 컨텍스트 스트리밍 재구성을 위한 루프 폐쇄

CLoSeR: Closing the Loop for Long-Context Streaming Reconstruction

Moyang Li, Zihan Zhu, Wei Zhang, Marc Pollefeys, Daniel Barath

제출 2026-10-01

저자 비고

arXiv Comments

Authors contributed equally to this work. Author order is interchangeable

한국어 초록

피드포워드 파운데이션 모델(feedforward foundation models)은 최근 뛰어난 3D 재구성 능력을 보여주었습니다. 그러나 기존 모델들은 오차 누적으로 인해 롱 컨텍스트(long-context) 스트리밍 재구성에서 큰 추적 드리프트(tracking drift)를 보입니다. 본 논문에서는 정확하고 드리프트 없는 킬로미터 단위의 대규모 재구성을 가능하게 하기 위해 스트리밍 재구성 파운데이션 모델을 활용한 루프 폐쇄(loop closure)를 다시 검토합니다. 구체적으로 본 방법론은 전역 디스크립터 검색을 통해 루프 후보를 탐지하고, 루프 조건부 윈도우를 구성하여 루프가 형성된 프레임 간의 상대적 포즈(relative pose)를 추정합니다. 채택한 스트리밍 재구성 백본이 전역적으로 일관된 스케일을 생성한다는 관찰 결과를 바탕으로, 이전 연구에서 사용되던 Sim(3) 또는 더 고차원의 SL(4) 매니폴드 상의 포즈 그래프 최적화를 피하고 순차 및 루프 폐쇄 제약 조건을 적용하여 SE(3) 매니폴드에서 모든 프레임 포즈를 최적화합니다. 광범위한 실험을 통해 제안하는 방법이 킬로미터 규모의 시퀀스에서 드리프트를 줄이고 일관된 기하 구조를 생성하여 기존 최고 수준(SOTA)의 성능을 크게 뛰어넘음을 입증합니다. 코드는 https://github.com/MoyangLi00/CLoSeR.git 에서 확인할 수 있습니다.

원문 초록

Feedforward foundation models have recently shown remarkable 3D reconstruction capabilities. However, existing models exhibit large tracking drift in long-context streaming reconstruction due to error accumulation. In this paper, we revisit loop closure with streaming reconstruction foundation models to enable accurate, drift-free, kilometer-scale reconstruction. Specifically, our method detects loop candidates through global descriptor retrieval, and constructs loop-conditioned windows to estimate the relative poses between looped frames. Given the observation that our adopted streaming reconstruction backbone produces a globally consistent scale, we optimize all frame poses on the SE(3) manifold with sequential and loop closure constraints, avoiding the pose graph optimization on the Sim(3) or higher-dimensional SL(4) manifolds employed in prior works. Extensive experiments show that our method reduces drift and produces consistent geometry on kilometer-scale sequences, significantly outperforming the state of the art. Code is available at https://github.com/MoyangLi00/CLoSeR.git.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01927v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.13504v3cs.CV공통 태그 Pose Estimation, 3D Reconstruction, loop closure, pose graph optimization

RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학

RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction

피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.

arXiv:2607.24495v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, slam

NSL-SLAM: 실용적인 SLAM 및 재구성을 위한 고충실도 신경 구조광 깊이

NSL-SLAM: High-Fidelity Neural Structured-Light Depth for Practical SLAM and Reconstruction

구조광(structured-light, SL) 카메라는 수백만 대의 기기에서 깊이 감지를 담당하며, 최근 신경 SL 디코딩 방법들이 깊이 품질을 크게 향상시켰다. SLAM 시스템은 신뢰할 수 있는 기하학이 안정적인 추적과 충실한 재구성을 가능하게 하는 이러한 강력한 깊이 감지로부터 큰 이점을 얻을 수 있다. 본 연구에서는 고충실도 구조광 깊이에 맞춘 실용적인 SLAM 시스템인 NSL-SLAM을 제안한다. 먼저 SL 깊이 감지를 강화한다. 신경 구조광(NSL) 방법에서 영감을 받아 SL 스테레오 디코딩에 강력한 단안(monocular) 깊이 사전(prior)을 추가로 통합하여 Replica-SL에서 NSL 대비 깊이 RMSE를 35% 감소시켰다. 그다음 이 강화된 깊이를 활용해 깊이 중심 SLAM 파이프라인을 구축한다. 구조광 기하학은 조밀하고 측정(metric)적으로 정확하기 때문에 이를 주 추적 신호로 유지하고, 기하학적으로 퇴화(degenerate)한 경우에만 희소(sparse) 시각 대응(correspondence)을 추가하며, 장거리 드리프트(drift)에는 경량 번들 조정(bundle adjustment)을 적용한다. 깊이 추정기와 SLAM 설계는 상호 보완한다. 더 강한 깊이는 단순한 SLAM 파이프라인을 효과적으로 만들고, 깊이 중심 파이프라인은 이 이점이 하류 재구성으로 전달되도록 보장한다. 실험적으로, 합성 Replica-SL 벤치마크에서 NSL-SLAM은 최고의 추적 정확도를 달성하고 공유 깊이(shared-depth) 프로토콜 하에서 SOTA 기준선 대비 재구성 F-score를 1.6점 향상시킨다. 8개의 도전적인 장면으로 구성된 실제 벤치마크에서는 모든 시퀀스에서 치명적 실패를 피한 유일한 방법이며, 선정된 기준선 대비 궤적 편차(trajectory deviation)를 43.3% 낮췄다. SLAM 시스템은 20.9 FPS로 온라인 실행되며, 더 강한 구조광 깊이와 깊이 중심 시스템 설계가 함께 실용적이고 견고한 SLAM을 가능하게 함을 보여준다.

arXiv:2607.21138v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, slam

DTIF: Delaunay 삼각형 토폴로지를 이용한 복잡한 숲 환경에서의 강건한 루프 클로저 검출

DTIF: Robust Loop Closure Detection via Delaunay Triangle Topology in Complex Forests

정확한 산림 재고 조사와 대규모 매핑은 생태계 모니터링과 지속 가능한 산림 관리에 필수적이다. 다수의 저비용 엣지(edge) 플랫폼은 대규모 영역의 효율적인 데이터 수집을 가능하게 하지만, GNSS가 차단된 숲 하층 환경에서 독립적으로 구축된 로컬 맵을 병합하려면 여전히 초기화 없는 루프 클로저 검출과 전역 등록(global registration)이 필요하다. 이 과제는 저비용 LiDAR 포인트 클라우드가 희소하고 노이즈가 많으며, 반복적인 수간 배치와 뚜렷한 기하학적 랜드마크의 부재가 심각한 지각적 aliasing(perceptual aliasing)과 잘못된 대응(false correspondences)을 유발하기 때문에 어렵다. 이러한 문제를 해결하기 위해, 우리는 숲 루프 클로저 검출 및 전역 등록을 위한 경량 수간 토폴로지 기반 프레임워크인 DTIF(Delaunay Triangulation in Forests)를 제안한다. 수간은 먼저 안정적인 랜드마크로 추출되며, 간결한 장면 표현을 위해 Delaunay 토폴로지를 사용해 인코딩된다. 후보 서브맵은 변(edge) 길이 및 반경 통계를 이용해 선별되며, 이어 edge-radius 일관성 검증과 강/약 정점(vertex) 지지 집계를 통해 가중 정점 대응을 구성한다. 마지막으로, 토폴로지에서 유도된 신뢰도 가중치가 중력 정렬(gravity alignment) 하에서 요(yaw), 수평 이동(translation), 고도 이동을 각각 추정하는 분리형 강건 포즈 추정기에 통합된다. 시뮬레이션 및 실제 숲 데이터셋에 대한 실험 결과, DTIF는 낮은 계산 부담으로 정확한 등록을 달성하며, 자원 제약이 있는 엣지 플랫폼에서 강건성, 효율성, 배포 가능성 간의 유리한 균형을 제공함을 보여준다.

arXiv:2607.21416v1cs.RO공통 태그 Pose Estimation, 3D Reconstruction, slam

GLAM-SLAM: 흐름 밀집화 및 공간 분해를 통한 실시간 가우시안 대규모 매핑

GLAM-SLAM: Real-time Gaussian Large-scale Mapping via Flow Densification and Spatial Decomposition

기존 가우시안 스플래팅(Gaussian Splatting) 기반 단안 동시 위치 추정 및 지도 작성(SLAM) 시스템은 짧은 시퀀스에 특화되어 있거나 실시간이 아니거나, 과도한 GPU 메모리 요구로 인한 문제가 있어 현실적인 장기 시나리오에서의 적용이 제한된다. 이를 해결하기 위해, 대규모 실외 장면을 위해 설계된 실시간 분리형(decoupled) 가우시안 스플래팅 SLAM 시스템인 GLAM-SLAM을 제안한다. 견고한 특징(feature) 기반 SLAM 프론트엔드를 사용하여 경량 추적을 보장하고, 매핑에서는 구조화된 희소 앵커 그리드 표현을 채택하여 확장 가능한 동작을 보장하고 장기 시퀀스에 걸친 장면 일관성을 유지한다. 3D 가우시안 스플래팅(3DGS)의 밀집 초기화(initialization) 요구사항을 충족하기 위해, 에피폴라(epipolar) 제약을 사용하는 기하학 기반 흐름 밀집화(flow-densification) 앵커링 전략을 도입한다. 또한 매핑을 다중 장면(multi-scene) 문제로 취급하여, MLP 초기화를 통해 강한 공간적 귀납 바이어스(bias)를 도입하여 국소화된 가우시안을 생성하는 장면 분할(scene-partitioning) 전략을 제안한다. 도전적인 장시퀀 KITTI Odometry, Oxford RobotCar, M'alaga 데이터셋에서 시스템을 평가한다. 광범위한 ablation 및 비교를 통해 두 번째로 우수한 방법 대비 재구성 품질에서 15% 향상을 보이면서, 실시간 성능과 더 긴 시퀀스로 확장 가능한 능력을 유지함을 입증한다. 코드는 커뮤니티를 위해 공개되어 있다.

arXiv:2607.13472v2cs.RO공통 태그 Pose Estimation, 3D Reconstruction

EgoHTR: 자아시점 4D 인간 지형 통과 시연

EgoHTR: Egocentric 4D Demonstrations of Human Terrain Traversal

비정형 지형에서 휴머노이드 로봇을 배치하는 것은 여전히 미해결 문제이다. 전통적인 강화학습은 실세계 상호작용의 막대한 복잡성 때문에 어려움을 겪는 반면, 인간 사전지식(human priors)을 활용하는 더 유망한 방법들은 맥락 인식이 부족한 모델에 국한되어 있다. 제한된 동작 합성은 기존 데이터셋 파이프라인이 어려운 환경에서 인간-장면(human-scene) 시퀀스를 포착하지 못하는 데서 비롯된 직접적인 결과이다. 휴머노이드 학습과 장면 재구성(scene reconstruction) 사이의 이러한 격차를 메우기 위해, 우리는 자아시점 인간-지형 재구성(Egocentric Human-Terrain Reconstruction, EgoHTR) 데이터셋을 제안한다. 우리는 자아시점 웨어러블과 휴대용 3D 스캐너로 구성된 다중 센서 설정을 사용하여 다양하고 복잡한 환경에서 55개의 장면 정렬(scene-aligned) 4D 인간 동작 시퀀스를 포착하는 재구성 파이프라인을 개발하고 오픈소스로 공개한다. 결과 데이터셋은 15만 프레임 이상으로 구성되며, 우리는 이를 모션 캡처(motion-capture) 정답(ground truth)과 비교 평가하여 최첨단 수준의 정확도를 보여 주고, 인간 동작 분석 및 합성을 위한 엄격한 벤치마크를 확립한다. 또한, 우리는 이 데이터를 활용하여 지각적(perceptive) 보행(locomotion) 정책을 학습하고, 재구성된 기준(reference) 동작에 대해 Unitree G1에서 하드웨어 배포를 시연한다. 우리의 파이프라인은 커뮤니티 주도의 데이터셋 확장을 가능하게 하며, 문제를 분해하여 연구자들이 불균일한 지형을 안정적으로 통과하는 기반적이고 맥락 인식이 가능한 로봇을 구축할 수 있도록 돕는다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.