피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.
피드포워드 파운데이션 모델(feedforward foundation models)은 최근 뛰어난 3D 재구성 능력을 보여주었습니다. 그러나 기존 모델들은 오차 누적으로 인해 롱 컨텍스트(long-context) 스트리밍 재구성에서 큰 추적 드리프트(tracking drift)를 보입니다. 본 논문에서는 정확하고 드리프트 없는 킬로미터 단위의 대규모 재구성을 가능하게 하기 위해 스트리밍 재구성 파운데이션 모델을 활용한 루프 폐쇄(loop closure)를 다시 검토합니다. 구체적으로 본 방법론은 전역 디스크립터 검색을 통해 루프 후보를 탐지하고, 루프 조건부 윈도우를 구성하여 루프가 형성된 프레임 간의 상대적 포즈(relative pose)를 추정합니다. 채택한 스트리밍 재구성 백본이 전역적으로 일관된 스케일을 생성한다는 관찰 결과를 바탕으로, 이전 연구에서 사용되던 Sim(3) 또는 더 고차원의 SL(4) 매니폴드 상의 포즈 그래프 최적화를 피하고 순차 및 루프 폐쇄 제약 조건을 적용하여 SE(3) 매니폴드에서 모든 프레임 포즈를 최적화합니다. 광범위한 실험을 통해 제안하는 방법이 킬로미터 규모의 시퀀스에서 드리프트를 줄이고 일관된 기하 구조를 생성하여 기존 최고 수준(SOTA)의 성능을 크게 뛰어넘음을 입증합니다. 코드는 https://github.com/MoyangLi00/CLoSeR.git 에서 확인할 수 있습니다.
최근 조건부 비디오 생성 모델은 깊이 맵과 텍스처 없는 기하학 같은 3D 엔진 렌더링을 게이밍 및 몰입형 콘텐츠 제작을 위한 사실적인 비디오로 변환할 수 있는 유망한 잠재력을 보여주었다. 이러한 응용은 지속적인 3D 세계를 유지하면서 새로운 프레임을 연속적으로 합성하는 장기 자기회귀 생성을 요구한다. 자기회귀 생성기는 제한된 KV 캐시로 청크 단위로 비디오를 합성하므로, 카메라가 컨텍스트가 캐시에서 제거된 후 어떤 위치를 재방문할 때, 조건 렌더링(예: 깊이)은 기본 기하학과 완벽하게 정렬된 상태로 남아 있음에도 불구하고 모델은 종종 일관되지 않은 외관을 재생성한다. 우리는 3D 엔진이 이미 제공하는 대응 관계를 활용하여 어떠한 사후 학습도 없이 이 재방문 불일치를 해결한다: 시간적 대응은 포즈가 일치하는 과거 잠재 청크를 루프 클로저 메모리로 KV 캐시에 검색하고, 카메라 포즈와 깊이 재투영으로부터의 공간적 대응은 검색된 청크의 기하학적으로 대응하는 영역을 향해 토큰 수준 어텐션을 편향시킨다. 복잡한 실세계 응용 시나리오를 반영하기 위해 TartanAir 및 TartanGround 데이터셋에서 추출한 루프 클로저 궤적에서 방법을 시연했으며, 전체 비디오 품질을 잃지 않으면서 재방문 일관성에서 기존의 학습 없는 베이스라인을 능가한다. 프로젝트 페이지: https://wenchao-m.github.io/ClosetheLoop.github.io/
3D Gaussian Splatting(3DGS)은 촬영한 장면의 재구성과 실시간 렌더링을 위한 주류 방법이 되었다. 좋은 시각적 품질로 장면을 촬영하려면, 연속적인 이미지 시퀀스를 보통 장면 커버리지를 높이기 위해 순서가 뒤섞인(out-of-order) 촬영과 함께 사용한다. Structure from Motion(SfM)은 이러한 촬영을 재구성할 수 있지만, 모든 촬영이 준비된 뒤에만 가능하며 종종 높은 계산 비용이 든다. SLAM 솔루션에서 파생된 경우가 많은 점진적(incremental) 재구성 방법은 즉각적인 피드백을 제공하지만, 우리가 필요로 하는 순서 없는 촬영을 처리할 수 없다. 우리는 이러한 복사장(radiance field) 촬영에 전역 일관성을 제공하는 즉각적 피드백 솔루션을 최초로 제안한다. 우선 시각적 장소 인식(visual place recognition) 모델과 공시 가시성(covisibility) 그래프를 재활용하여 순서 없는 시퀀스에서 빠른 매칭을 수행하는 방법을 도입하고, 연결성이 높은 키프레임(keyframe)을 효율적으로 찾는 방식을 제공하여, 순서가 정렬된 시퀀스에서도 품질을 향상시킨다. 우리는 이러한 단계들이 GPU 최적화와 신중한 Gaussian primitive 배치와 함께, 우리의 까다로운 복사장 재구성 사례에서 빠른 국소 재구성을 제공하는 방법을 보여준다. 이어서 공시 가시성 그래프를 다시 활용하는 새로운 클러스터 기반 방법을 도입하여, 순차적 입력을 요구하지 않는 효율적인 루프 클로저(loop closure)를 제공한다. 마지막으로, 우리의 맥락에서 대규모 장면을 처리하기 위해 점진적 계층(progressive hierarchy)을 도입하여, 효율성을 훼손하지 않고 대규모 환경으로 확장할 수 있게 한다. 우리의 결과는 여러 데이터셋에서, 수천 장에 달하는 입력 이미지까지, 좋은 시각적 품질의 즉각적 피드백 3DGS 재구성을 제공함을 보여준다.
위상 매핑과 탐색은 광범위하게 연구되어 왔지만, 순수 위상 표현에서 루프 클로저(loop closure)의 구체적인 역할과 하류 효과는 상대적으로 주목을 받지 못했다. 중요하게도, 위상 맵에서의 루프 클로저는 전역 참조 궤적 및 메트릭 맵에서의 루프 클로저와는 다르다. 최근 픽셀 수준의 상대적 3D 기하에 기반한 더 밀집한 위상 구조를 바탕으로, 우리는 픽셀 공간에 직접 루프 클로저를 도입하는 PixelLoop를 제안한다. SLAM의 희소한 이미지 수준 엣지나 포즈 그래프 보정과 달리, 우리의 픽셀 수준 클로저는 좌표를 정렬하는 것을 넘어 계획 연결성과 비용 전파를 바꾸는 밀집 위상 지름길로 작동한다. 이러한 밀집 연결성은 안정적인 임의 지점 간 탐색을 가능하게 하며 기하학적 최단 경로와 정확히 일치하는 비용맵(costmap)을 생성한다. 특히, 이미지 수준 위상이 아닌 세밀한 픽셀 위상에 루프 클로저를 적용할 때의 뚜렷한 이점을 보여준다. 광범위한 시뮬레이션 실험에서 PixelLoop는 이미지 상대 기준선 대비 Success Rate와 SPL 모두에서 35%p 이상의 절대 향상을 달성했으며, 지름길 활용이 필요한 시나리오에서 가장 큰 이득을 보였다. 결과는 실제 이동 로봇 배치를 통해서도 검증되었으며, 밀집 픽셀 수준 루프 클로저가 위상 시각 탐색을 위한 실용적이고 견고한 기반을 제공함을 보여준다. Project Page: https://pixelloop-nav.github.io/
딥러닝 특징 추출기(ALIKED, RaCo, SuperPoint, XFeat)를 Lucas–Kanade 옵티컬 플로우 또는 LightGlue 매칭과 조합하여 공정한 비교가 가능한 모듈형 VI-SLAM 프레임워크 DL-VINS-Factory를 제안한다. 4개 데이터셋 벤치마크 결과, 학습 기반 프론트엔드는 실시간 임베디드 SLAM에 실용적으로 적용 가능하나 고전적 추적 방식에 비해 항상 우월하지는 않으며, ALIKED+LG는 EuRoC ATE를 최대 12%, SuperPoint/RaCo+LK는 Botanic Garden에서 최대 38%까지 감소시킨다.
단안 이미지 시퀀스로부터의 온라인 3D 재구성은 도전적이며 지속적인 연구 주제입니다. 3D Gaussian Splatting(3DGS)은 고품질 실시간 렌더링 기능을 활용하여 온라인 3D 재구성이 향상된 표현력으로 밀집한 장면을 표현할 수 있게 하며, 이에 따라 로봇 공학 및 AR/VR과 같은 광범위한 응용 분야에서 큰 잠재력을 가집니다. 하지만 기존 온라인 3DGS 방법들은 여전히 몇 가지 핵심적인 과제에 직면해 있습니다: 전역 최적화 부족으로 인한 취약한 카메라 포즈 추정, 그리고 대규모나 긴 시퀀스 시나리오에서 낮은 최적화 효율성이 그것입니다. 이러한 문제를 해결하기 위해, 우리는 전역 Sim(3) 최적화가 통합된 견고하고 효율적인 온라인 복셀화 3DGS 재구성 프레임워크를 제안합니다. 이는 카메라 포즈와 복셀화된 3DGS 모두에 대해 신뢰할 수 있는 카메라 추적과 효율적인 전역 루프 클로저를 가능하게 합니다. 복셀화된 3DGS의 수렴을 가속화하기 위해, 우리는 색상 잔차 학습 전략을 추가로 도입했으며, 이는 최적화 속도를 향상시킬 뿐만 아니라 렌더링 품질도 높여줍니다. 다양한 실내 및 실외 데이터셋에 대한 광범위한 실험을 통해, 우리의 방법이 실시간 효율성을 유지하면서도 카메라 포즈 추정 정확도와 렌더링 품질 측면에서 최첨단 성능을 달성함을 입증했습니다. 또한, 제안된 방법에 기반한 실제 UAV 기반 능동적 재구성 시스템을 개발하고 배포하여 실제 온라인 3D 재구성 작업에서의 견고성과 일반화 가능성을 검증했습니다. 우리의 코드와 데이터는 https://github.com/TrickyGo/MoonSplat 에서 확인할 수 있습니다.