단안 깊이 foundation 모델은 대규모 의미론적 사전(prior)을 학습함으로써 뛰어난 일반화를 달성하지만, 이는 치명적인 취약점을 만든다. 평면적이거나 곡률이 낮지만 지각적으로 모호한 입력으로부터 환상적인 3D 구조를 환각하는 것이다. 우리는 이러한 실패를 3D 미라지(3D Mirage)라고 부른다. 본 논문은 맥락 변화(context variation) 하에서 단안 깊이(monocular depth)의 과소 정량화된 안전성(safety) 위험을 탐색(probe), 평가(score), 완화(tame)하기 위한 새로운 end-to-end 프레임워크를 제안한다. 탐색을 위해, 맥락 변화와 실세계 착시(real-world illusions)에 대한 정밀 주석을 결합하고 실제 객체 제외(real object exclusions) 및 다중 표면 지원(multi-surface support)을 포함하는 최초의 벤치마크인 3D-Mirage를 제시한다. 이는 실세계 착시에서 단안 깊이를 스트레스 테스트하기 위해 특별히 구축되었다. 평가를 위해, 두 가지 지표를 갖춘 2차(second-order) 크기(magnitude) 기반 평가를 제안한다. 고차 2차 3D 구조를 위한 Deviation Composite Score(DCS)와 맥락적 불안정성(contextual instability)을 위한 Confusion Composite Score(CCS)이다. 이 실패를 완화하기 위해 Grounded Self-Distillation을 도입한다. 이는 Depth-Anything-V2 기준선(baseline) 위의 매개변수(parameter) 효율적 전략으로, 착시 ROI(illusion ROIs)에서의 환각(hallucination)을 수술적으로 표적하고 해결하면서 배경 지식을 보존하고 치명적 망각(catastrophic forgetting)을 피한다. 우리 연구는 이 현상을 진단하고 해결하기 위한 혁신적인 파이프라인을 제공하며, MDE(단안 깊이 추정, Monocular Depth Estimation) 평가가 픽셀 단위 정확도(pixel-wise accuracy)에서 구조적·맥락적 견고성(structural and contextual robustness)으로 전환되어야 함을 촉구한다.
장면 이해는 기하학, 외관, 의미론에 대한 동시 예측을 요구한다. 그러나 기존 태스크별 주석은 호환되지 않는 도메인별 데이터셋에 걸쳐 파편화되어 있다. 현재의 통합 시스템은 완전 공동 주석 데이터로만 학습을 제한하거나, 의사 라벨링(pseudo-labeling)의 큰 계산 비용을 감수함으로써 이를 우회한다. 이를 완화하기 위해, 우리는 깊이, 표면 법선, 의미 분할, 경계, 인체 부위, 알베도, 셰이딩, 재질이라는 여덟 가지 밀집 장면 속성을 분리된 도메인별 데이터셋에서 공동으로 예측하는 통합 비디오 모델 UniD를 제안한다. 우리는 태스크별 전문가가 경량 태스크 프로젝터를 통해 통합 백본을 지도하는 간단하면서도 효과적인 지식 증류(distillation) 단계를 제안하며, 이를 통해 주석 중복이나 의사 라벨링이 필요 없게 한다. 우리의 핵심 통찰은 사전학습된 diffusion 모델의 강력한 시각적 사전 지식(prior)이 분리된 학습 소스로 인해 발생하는 도메인 간격을 메우기에 충분하여, 학습 중 한 번도 보지 못한 장면-태스크 조합에 대한 강건한 일반화를 가능하게 한다는 것이다. UniD는 태스크별 전문가 및 멀티태스크 기준선 대비 경쟁력 있는 성능을 달성하며, 분포 외(out-of-distribution) 시나리오에 대한 강한 일반화와 향상된 시간적 및 교차 태스크 일관성을 보인다. 코드와 비디오 결과는 https://unid-video.github.io/ 에서 확인할 수 있다.
다양한 악천후 조건에서 센서 지각 성능 저하로 인해, 안전한 자율주행을 위한 자기지도 깊이 추정은 어려운 과제이다. 이러한 어려움은 두 가지 주요 측면에서 기인한다. 첫째, 악천후 조건은 픽셀 대응을 왜곡하고 자기지도 손실 함수에 내재된 가정을 위반하여 잘못된 깊이 예측을 초래할 수 있다. 둘째, 레이더는 악천후 조건에서 널리 채택되는 센서이지만, 시점(Point of View, POV)에서 레이더 포인트의 희소한 분포는 자기지도 융합에 어려움을 야기한다. 이러한 문제를 해결하기 위해, 우리는 다중 교사 증류와 견고한 레이더 융합을 통해 페어링되지 않은 실제 전천후 데이터를 활용하는 새로운 자기학습(self-training) 파이프라인을 제안한다. 우리는 서로 다른 악천후 조건 입력으로 다양한 교사 모델을 생성하는 불확실성 인식 다중 교사 증류(Uncertainty-Aware Multi-Teacher Distillation) 방법을 제안하고, 불확실성 모델링을 통해 지식 증류 손실의 가중치를 부여한다. 또한, 카메라 픽셀 광선 제약을 활용하여 카메라의 시점(POV)과 레이더의 조감도(Bird's-Eye View, BEV) 간의 연결을 수립하는 POV-BEV 레이더 융합 접근법을 설계한다. 이 접근법은 더 조밀한 레이더 포인트의 활용을 가능하게 하며, POV와 BEV의 상보적인 관점을 효과적으로 포착한다. 광범위한 정량적 및 정성적 실험은 전천후 데이터셋에서 제안 방법의 견고성을 보여주며, 최신(state-of-the-art) 성능을 달성한다. 코드와 모델은 https://github.com/MICLAB-BUPT/RobustDepth 에서 제공된다.
단안 깊이 추정은 무인항공기(UAV)에서 3D 재구성과 자율 항법을 위한 기본적인 선행 조건이다. 실제 배치 환경에서 UAV는 고도, 피치, 롤, 시야(FOV)의 연속적 변화로 특징지어지는 고도로 동적인 카메라 포즈 하에서 작동한다. 기존 단안 깊이 추정 방법은 이러한 다양한 시점과 항공 장면에 내재된 광범위한 깊이 분포의 스케일에 걸쳐 일반화하는 데 자주 실패한다. 이러한 과제를 해결하기 위해, 우리는 엄밀한 이론적 분석을 통해 UAV 시점각의 정량적 표현을 수립하고, 관측 기준으로 지면 평면을 사용하여 시점각과 시점 거리 간의 기하학적 대응 관계를 도출한다. 이를 바탕으로, 우리는 Depth Estimation for Any Perspectives Model(DAPM)을 제안하며, 이는 연속적으로 변화하는 시점 하에서 카메라 포즈와 깊이를 공동으로 추정하도록 UAV 항공 영상을 위해 특별히 설계된 최초의 단안 프레임워크이다. 구체적으로, 우리는 UAV 시점과 시점 거리 사이의 도출된 기하학적 관계를 활용하여 밀집 카메라-포즈 감독을 구현하고 깊이 특징을 향상시키는 Ideal Ground Depth(IGD) 모듈을 도입한다. 또한 우리는 coarse-to-fine Progressive Quantization Bins(PQB) 모듈을 추가로 개발한다. 점진적 감독과 계층적 양자화 빈을 통합함으로써, PQB 모듈은 복잡한 UAV 항공 영상에서 강건한 추정을 가능하게 한다. 제안된 프레임워크를 평가하기 위해, 우리는 포즈 매개변수의 포괄적이고 연속적인 분포를 특징으로 하는 UAV Any Perspectives Depth(UAPD) 데이터셋을 제시한다. UAPD에 대한 실험 결과는 DAPM이 깊이 및 카메라-포즈 추정 지표 모두에서 최첨단 성능을 달성함을 보여준다. 소스 코드와 데이터셋은 https://github.com/ThisIsLT/DAPM 에서 이용할 수 있다.
자율 생의학 실험실은 투명 플라스틱 기구를 인식하고, 위치를 특정하며, 조작하는 데 점점 더 시각적 지각에 의존하고 있지만, 이 환경을 위한 고품질 실세계 데이터셋은 여전히 제한적이다. 도메인 관련 데이터의 부족은 특히 혼잡한 다중 객체 장면에서 제약적이며, 여기서 상호 가림과 시점 의존적 외관 변화는 최신 시각 기반 모델(foundation model)에서도 여전히 어려운 과제로 남아 있다. 기존 투명 객체 데이터셋은 분할(segmentation), 깊이, 자세 추정을 발전시켜 왔지만, 일반적으로 실험실 조작 장면을 특징짓는 다중 객체 혼잡, 가림, 보정된 다중 시점 캡처의 결합된 설정을 평가하지는 않는다. 이 공백을 해소하기 위해, 우리는 보정된 다중 시점 시퀀스로 캡처된 혼잡한 투명 생의학 객체의 실세계 RGB-D 데이터셋인 TransBiolab을 제시한다. TransBiolab은 98개 장면에서 161,315프레임과 15가지 실험실 객체 유형에 걸친 103만 개의 인스턴스 주석을 포함하며, 6D 자세, 전체 및 가시 마스크, 깊이, 프레임별 카메라 보정을 제공한다. 데이터셋은 운영 난이도를 반영하는 세 가지 축을 따라 구성된다: 객체 범주, 프레임 내 객체 총수, 카메라 시점. 우리는 또한 분할, 깊이 추정 및 완성(completion), 6D 자세 추정을 위한 데이터셋 중심 벤치마크를 정의하고, 공개된 주석과 보정을 통해 가능해진 시스템 수준의 로봇 조작 평가를 보고한다. 반복되는 투명 인스턴스, 혼잡, 다중 시점 실험실 캡처에 초점을 맞춤으로써, TransBiolab은 자율 실험실 조작에서 분할, 깊이 추정, 6D 자세 추정, 다중 시점 추론을 위한 자원을 제공한다. 프로젝트 페이지: https://dualtransparency.github.io/TransBiolab/.
신뢰할 수 있는 순전파 기반 수중 3D 재구성은 심각한 빛 감쇠와 역산란으로 인해 여전히 어려운 과제로 남아 있다. 이는 시각적 품질을 저하시키고 뷰 간 특징 일관성을 방해하여 부정확한 다중 뷰 기하학으로 이어진다. 이 문제를 해결하기 위해, 수중 이미지로부터 3D 장면을 직접 재구성하는 순전파 프레임워크 WAT3R을 제안한다. 열화 적응을 기하학 제약 프로세스로 활용함으로써, WAT3R은 경량 신경망 적응 모듈을 통합하여 이러한 수중 촬영 효과를 유연하게 반영하고, 이를 통해 다중 뷰 재구성 품질을 향상시킨다. 단일 순전파로 구현된 WAT3R은 수중 비디오로부터 픽셀 정렬 3D 포인트 맵과 카메라 포즈를 직접且 효율적으로 출력하여 고품질 수중 3D 재구성을 가능하게 한다. FLSea, SQUID, USOD10K 데이터셋에서 수행한 실험은 우리 방법이 다중 뷰/단안 깊이 추정 및 카메라 포즈 추정을 포함한 3D 재구성 과제에서 최신 방법들을 지속적으로 능가함을 보여준다.
Impact hammers, also known as rock-breakers, are essential machines in mining operations, where they perform secondary reduction. In underground mining, these machines are typically teleoperated, limiting operational efficiency. This paper presents a real-time RGB-D perception pipeline as a step towards automating the operation of hydraulic impact hammers used in mining. The proposed system simultaneously generates operationally feasible rock-breaking poses and a robot-free 3D representation of the workspace. The proposed approach combines image-based instance segmentation with geometric point cloud processing, and operates on embedded hardware at approximately 10 Hz with a total latency of around 675 ms, enabling responsive closed-loop behavior when integrated with a control system. Experimental results in a representative scaled scenario demonstrate that the proposed system is suitable for real-time autonomous impact hammer operation.
Indoor robot navigation is often compromised by glass surfaces, which severely corrupt depth sensor measurements. While foundation models like Depth Anything 3 provide excellent geometric priors, they lack an absolute metric scale. We propose a training-free framework that leverages depth foundation models as a structural prior, employing a robust local RANSAC-based alignment to fuse it with raw sensor depth. This naturally avoids contamination from erroneous glass measurements and recovers an accurate metric scale. Furthermore, we introduce \ti{GlassRecon}, a novel RGB-D dataset with geometrically derived ground truth for glass regions. Extensive experiments demonstrate that our approach consistently outperforms state-of-the-art baselines, especially under severe sensor depth corruption. The dataset and related code will be released at https://github.com/jarvisyjw/GlassRecon.
스테레오 매칭(stereo matching)은 3D 재구성에서 근본적인 과제이다. 비록 놀라운 발전이 있었지만, 지배적인 패러다임은 스테레오 매칭을 결정론적 회귀(regression) 문제로 공식화하여 다중모드(multimodal) 분포 모델링을 단일점 추정으로 축소한다. 이 공식화는 평균으로의 회귀(regression-to-mean) 바이어스에 시달리며, 모호한 영역에서 자주 어려움을 겪는다. 반면, 우리는 결정론적 매칭 회귀와 생성적 분포 모델링을 상호 보완적 공식화 내에서 통합하는 선행 정보 유도(prior-guided) 생성적 프레임워크를 제안한다. 이 공식화를 바탕으로, 세 가지 핵심 구성 요소를 통해 StereoFlow를 제안한다: (i) 보완적 매칭 단서를 갖춘 다중 해상도 스테레오 조건을 점진적으로 생성하는 2단계 점진적 캐스케이드 매칭 네트워크; (ii) 대응(correspondence) 모호성을 모델링하기 위한 주파수 분리(frequency-decoupled) 아키텍처를 갖춘, StereoDiT라 불리는 픽셀 확산(diffusion) 트랜스포머; (iii) 효율적 최적화(optimization)를 위한, Transition Flow Matching이라 불리는 소수 단계 플로우 매칭(flow matching) 목적 함수. 요약하면, StereoFlow는 강한 기하학적 일관성과 ill-posed한 불연속 영역 및 제로샷(zero-shot) 일반화에서 풍부한 세밀한 디테일을 달성한다. 광범위한 실험은 제안된 StereoFlow가 Scene Flow, KITTI, ETH3D, Middlebury를 포함한 여러 벤치마크(benchmark)에서 다수의 최신(state-of-the-art) 결과를 달성함을 보여준다.
대규모 장면에서 단안 비디오로부터 장면 일관적인 4D 군중 움직임을 복원하는 것은 심각한 깊이 모호성과 복잡한 장면 기하학으로 인해 여전히 어려운 과제이다. 기존 단안 군중 재구성 방법들은 일반적으로 단일 평면 가정에 의존하여, 복잡한 지형에서 신뢰할 수 없는 메트릭 스케일과 공간적 표류를 초래한다. 우리는 Crowd4D를 제안한다. 이는 대규모 장면에서 단안 RGB 비디오로부터 군중과 장면을 공동으로 최적화하는 최초의 장면 인식 4D 군중 재구성 프레임워크이다. Crowd4D는 장면 기하학을 명시적으로 통합하고, 다단계 최적화 전략을 통해 이미지 공간과 장면 공간 전반에 걸쳐 일관성을 보장한다. 이 작업의 핵심 병목은, 특히 스케일과 위치 측면에서 정확한 인간-장면 정렬에 있다. 그러나 인간과 장면 재구성은 일반적으로 분리되어 수행된다. 이를 해결하기 위해, 우리는 Scene Interaction Point Clouds(SIPC)와 Scene Interaction Surface(SIS)로부터 파생된 중간 표현인 Human-Scene Interaction Proxy(HSIP)를 도입한다. 이 표현들은 명시적인 장면 인식 기하학적 사전지식을 인코딩하고, 대규모 단안 4D 군중 재구성을 위한 최적화 공간을 재정의한다. 가려짐 상황에서 시간적 안정성을 더욱 향상시키기 위해, 우리는 Crowd Structural Coherence Regularization(CSCR)을 도입한다. 이는 HSIP 기반 공간 사전지식을 활용하여 지역 군중 이웃 내 쌍별 상대 변위와 방향에 부드러운 시간적 일관성을 부과한다. 광범위한 실험을 통해 Crowd4D가 기존 최첨단 방법들을 일관되게 능가하며, 복잡하고 대규모인 실제 장면에서 강건한 단안 4D 군중 재구성을 가능하게 함을 보여준다.
희소 시점(sparse-view) 입력으로부터의 새로운 시점 합성(novel view synthesis)은 3D 컴퓨터 비전(CV)에서 중요한 과제이며, 특히 제한된 시점으로 고품질 장면 재구성을 달성하는 것은 어렵다. 우리는 점의 희소성을 직접 다루어 3D Gaussian Splatting(3DGS)을 향상시키는 프레임워크인 TWINGS를 제안한다. 우리는 제어점 대응(control-point correspondences)으로부터 전역적으로 일관된 워프(warp)를 추정하기 위해 굽힘 에너지(bending energy)를 최소화하는 매끄러운 비강체 변형 모델인 Thin Plate Splines(TPS)을 사용하여, 추정된 깊이(depth)로부터 역투영(backprojected)된 점들을 삼각측량된 3D 제어점과 정렬하고, 이를 통해 보정된 역투영 점을 얻는다. 제어점 근처에서 이러한 보정된 점들을 샘플링함으로써, TWINGS는 3DGS를 위한 빠르고 기하학적으로 정확한 초기화를 제공하며, 궁극적으로 재구성된 장면에서 구조적 세부 보존과 색상 충실도(color fidelity)를 향상시킨다. DTU, LLFF, Mip-NeRF360에서의 광범위한 실험은 TWINGS가 기존 방법들을 일관되게 능가하며, 희소 시점 시나리오에서 상세하고 정확한 재구성을 제공함을 보여준다.
많은 실용적인 6D 객체 자세 추정 시나리오에서는 객체마다 단 하나의 실제 RGB-D 참조 뷰만 사용할 수 있는 경우가 많으며, 일반적으로 CAD 모델은 제공되지 않습니다. 기존 방법들은 대부분 명시적인 3D 모델이나 다중 뷰 데이터에 의존하여 확장성을 제한합니다. 이러한 어려운 단일 참조·모델 없는(model-free) 설정을 해결하기 위해, 우리는 새로운 Project-and-Compare 패러다임을 통해 자세 추정을 수행하는 의미적 사전지식(semantic prior) 기반 프레임워크인 OneViewAll을 제안합니다. 계산 비용이 큰 CAD 기반 렌더링에 의존하는 대신, 우리 방법은 투영 등변(projection-equivariant) 공간 내에서 참조 및 쿼리 관측을 직접 정렬합니다. OneViewAll은 세 수준에 걸쳐 계층적 의미적 사전지식을 점진적으로 통합합니다: (1) 효율적인 가설 초기화를 위한 카테고리 및 장면 수준 사전지식; (2) 거울 융합(mirror fusion)을 통한 기하학적 보완을 위한 객체 수준 대칭 사전지식; (3) 판별적 정제를 위한 패치 수준 사전지식. 광범위한 실험 결과, OneViewAll은 단 하나의 실제 참조 뷰만 사용하여 LINEMOD 데이터셋에서 ADD-0.1 정확도 92.5%를 달성하며, CVPR 2025 기준선 One2Any(52.6%)를 크게 능가합니다. 또한 낮은 추론 지연을 유지하면서 YCB-V, Real275, Toyota-Light에서도 일관된 성능 향상을 보입니다. 우리 결과는 대칭적, 텍스처 없는, 가려진(occluded) 객체를 다루는 데 있어 대칭 인식 투영의 효과를 강조합니다.
이 논문은 RGB 이미지를 사용하여 사람의 포인팅 제스처로 지목된 객체를 인식하기 위한 포괄적인 파이프라인을 제시한다. 휴먼-로봇 상호작용이 더 직관적인 인터페이스를 향해 발전함에 따라, 비언어적 의사소통의 대상을 식별하는 능력이 중요해진다. 제안하는 시스템은 객체 검출, 신체 자세 추정, 단안 깊이 추정, 비전-언어 모델을 포함한 여러 기존 최첨단 방법들을 통합한다. 단일 이미지에서 재구성된 3D 공간 정보의 영향과 분류 오류를 수정하는 데 있어 이미지 캡셔닝 모델의 유용성을 평가한다. 맞춤형 데이터셋에 대한 실험 결과, 깊이 정보를 통합하면 특히 겹치는 객체가 있는 복잡한 장면에서 대상 식별이 크게 향상됨을 보여준다. 이 접근법의 모듈성 덕분에 전용 깊이 센서를 사용할 수 없는 환경에서도 배포할 수 있다.
Structure-from-Motion (SfM) is a fundamental technique for recovering camera poses and scene structure from multi-view imagery, serving as a critical upstream component for applications ranging from 3D reconstruction to modern neural scene representations such as 3D Gaussian Splatting. However, most mature SfM systems remain CPU-centric and built upon traditional optimization toolchains, creating a growing mismatch with modern GPU-based, learning-driven pipelines and limiting scalability in large-scale scenes. While recent advances in GPU-accelerated bundle adjustment (BA) have demonstrated the potential of parallel sparse optimization, extending these techniques to build a complete global SfM system remains challenging due to unresolved issues in metric scale recovery and numerical robustness. In this paper, we implement a fully GPU-based and PyTorch-compatible global SfM system, named InstantSfM, to integrate seamlessly with modern learning pipelines. InstantSfM embeds metric depth priors directly into both global positioning and BA through a depth-constrained Jacobian structure, thereby resolving scale ambiguity within the optimization framework. To ensure numerical stability, we employ explicit filtering of under-constrained variables for the Jacobian matrix in an optimized GPU-friendly manner. Extensive experiments on diverse datasets demonstrate that InstantSfM achieves state-of-the-art efficiency while maintaining reconstruction accuracy comparable to both established classical pipelines and recent learning-based methods, showing up to ${\sim40\times}$ speedup over COLMAP on large-scale scenes.
해저에 있는 인공 물체의 매몰 상태는 국소적 퇴적 역학에 대한 통찰을 제공하며, 탄약과 같은 위험 물질에 대한 생태학적 위험, 잠재적 오염물질 이동, 회수 또는 완화 전략의 타당성을 평가하는 데에도 매우 중요하다. 원격 영상으로부터 정확한 매몰 깊이를 추정하는 것은 부분적 가림, 낮은 가시성, 물체 열화로 인해 여전히 어렵다. 본 연구는 PoseIDON이라는 컴퓨터 비전 파이프라인을 제안한다. 이 파이프라인은 딥 파운데이션 모델(foundation model) 특징과 다중 시점 사진측량(multiview photogrammetry)을 결합하여 ROV(원격 조작 수중 로봇) 영상으로부터 6자유도(6DoF) 물체 자세와 주변 해저면의 방향을 추정한다. 매몰 깊이는 물체의 CAD 모델을 관측 영상과 정렬하고 해저면의 국소 평면 근사를 적합(fit)하여 추론한다. 이 방법은 San Pedro Basin의 역사적 해양 매립지에서 촬영된 통, 탄약 등 54개 물체의 영상을 사용하여 검증되었다. 모델은 평균 매몰 깊이 오차 약 10cm를 달성하며, 기저 퇴적물 이동 과정을 반영하는 공간적 매몰 패턴을 파악한다. 이 접근법은 확장 가능하고 비침습적인 해저 매몰 매핑을 가능하게 하며, 오염 지역에서의 환경 평가를 지원한다.
시각-언어 내비게이션(VLN)은 자연어 지시를 따라 복잡한 환경에서 구현체 에이전트(embodied agent)가 이동할 수 있도록 하는 것을 목표로 한다. 최근 접근법들은 의미 공간 지도(semantic spatial maps)를 구축하고 추론과 의사결정을 위해 대규모 언어 모델(LLM)을 활용한다. 이러한 발전에도 불구하고, 기존 시스템은 인스턴스 수준의 객체 세부 정보와 다양한 사용자 질의에 대한 견고성이 부족하여 복잡한 실내 환경에서의 신뢰할 수 있는 내비게이션을 제한한다. 이 한계를 해결하기 위해, 우리는 세 가지 핵심 기여를 갖춘 통합 프레임워크인 Instance-Enriched Semantic Maps를 제안한다: (1) 개방 어휘(open-vocabulary) panoptic segmentation을 통해 색상 및 깊이 관측으로부터 지도를 구축하고, 수직적 구분을 보존하며 작은 객체를 포착하면서, 방 수준(room-level) 맥락으로 풍부화된 다양한 의미 속성과 자연어 캡션을 저장하는 인스턴스 수준 2.5차원(2.5D) 풍부 정보 매핑. (2) LLM 기반 목표 선택을 통한 견고한 질의 처리로, 유형별 전문가(type-specialized experts) 간에 질의를 동적으로 라우팅하고 점수 수준(score-level) 융합을 통해 출력을 통합하여, 다양한 질의 표현에 걸쳐 일관된 목표 선택을 가능하게 함. (3) 내비게이션에 필요한 충분한 공간 정보를 보존하면서 3차원(3D) scene-graph 접근법 대비 약 96% 감소를 달성하는 저장 효율적 의미 표현. 제안된 2.5D 표현은 prediction-normalized Area Under the Curve(AUC)에서 3D 기준선보다 27% 이상 우수한 성능을 보인다. 내비게이션 실험에서, 우리 방법은 다양한 질의 유형에 걸쳐 기준선 대비 객체 검색에서 17% 이상, 내비게이션 성공률에서 23% 이상의 개선을 달성한다. 프로젝트 페이지는 https://rcilab.github.io/iesm_vln 에서 확인할 수 있다.
밀리미터파 레이더 포인트 클라우드의 희소성·노이즈·구조 불완전성 문제를 해결하기 위해, 이미지 시맨틱 정보를 활용한 깊이-시맨틱 정렬과 Affinity Matrix 기반 특징 융합을 결합한 비전-레이더 멀티모달 포인트 클라우드 생성 프레임워크를 제안한다. 실험 결과, 제안 방법은 포인트 클라우드 품질을 향상시키고 복잡한 환경에서의 3D 객체 검출 및 추적 정확도와 견고성을 개선하였다.
본 논문은 단안 RGB 동영상에 대해 초당 약 10 FPS의 속도로 재구성과 카메라 추적을 수행하는 멀티 에이전트 3D 재구성 프레임워크인 MAGiSt3R을 제안한다. MAGiSt3R은 RGB 동영상을 처리하고 국소 포인트 맵을 회귀하기 위해 3R 계열의 피드포워드 모델에 의존하며, 에이전트 내 및 에이전트 간 수준에서 국소 맵을 결합하여 최종 전역 포인트 맵을 얻는 병합 모델 MAGMA에도 의존한다. 또한 MAGiSt3R은 피드포워드 파이프라인을 따라 발생하는 누적 카메라 드리프트를 완화하기 위해 포즈 그래프 최적화를 수행한다. 합성 및 실세계 데이터셋에서 MAGiSt3R을 평가한 결과, 최신(state-of-the-art) 방법들에 비해 우수한 재구성 및 카메라 추적 정확도를 보여준다.
소형화 DOE 프로젝터를 사용하는 프린지 투사 프로파일로메트리(Fringe Projection Profilometry, FPP) 시스템은 비선형 투사 특성과 제한된 패턴 제어 가능성으로 인해 심각한 위상 아티팩트를 겪는 경우가 많다. 본 연구는 프로젝터 핀홀에서 나오는 투사 광선을 따라 위상 아티팩트를 모델링하는 광선 기반 위상 오차 보정 프레임워크를 제안하며, 영상 영역(image-domain) 처리나 이웃 픽셀에 의존하지 않고 프로젝터 기하를 반영한다. 또한 단방향 쌍곡 프린지 패턴에 기반한 프로젝터 핀홀 추정 방법을 도입하여, 스테레오 보정 없이 프로젝터 기하를 복원할 수 있게 한다. 더불어 데이터 효율적인 전략을 통해 단일 보정 자세(calibration pose)만으로 정제 모델을 구축한다. 소형화 DOE 프로젝터 기반 FPP 시스템에 대한 실험은 비선형 투사 조건에서 재구성 정확도가 크게 향상됨을 보여 주며, 제안 방법의 견고성과 물리적 일관성을 확인한다.
약지도 RGB-D 현저 객체 검출(SOD)은 픽셀 수준 주석의 큰 부담을 줄이기 위해 연구되어 왔다. 그러나 스크리블 주석은 객체의 구조와 세부 정보를 갖추지 못해 부정확한 현저성 맵을 초래한다. 본 논문에서는 스크리블 지도 RGB-D SOD 방법을 제안하며, 이는 Segment Anything Model(SAM) 기반 의사 주석 생성 방법(SAM-PAG)과 상태 공간 상호작용 기반 조건부 확산 모델(S²Diff)으로 구성된다. 구체적으로 SAM-PAG는 희소한 지도 정보 문제를 해결하도록 맞춤 설계되었다. SAM-PAG에서는 이중 분기 구조와 분할 마스크의 일관성을 통해 희소한 스크리블을 조밀한 픽셀 수준 의사 주석으로 확장하기 위해 고급 SAM을 채택한다. S²Diff에서는 조건 정보의 안내 하에 노이즈가 있는 현저성 맵을 반복적으로 정제하여 정확한 현저성 맵을 생성하기 위해 확산 모델을 채택한다. 당연히 우리 S²Diff의 핵심은 조건 특징의 획득과 현저성 맵의 노이즈 제거에 있다. 전자에 대해, 주파수 통합과 암시적-명시적 상태 공간 상호작용을 통해 다중 모달 특징을 엮는 크로스 모달 조건부 생성 모듈을 사용하여 효과적으로 전역 조건 특징을 달성한다. 후자에 대해, 조건적 문맥으로 객체 정보를 강화하고 노이즈 간섭을 완화하기 위해 문맥 주입 모듈을 사용한다. SAM-PAG와 S²Diff의 긴밀한 협력을 통해, 우리 방법은 관련 스크리블 지도 방법들을 능가하고 7개 데이터셋에서 완전 지도 방법과 비교해 경쟁력 있는 성능을 달성한다. 우리 방법의 코드와 결과는 https://github.com/Switch457/WeakS2Diff_SOD 에서 확인할 수 있다.