스트리밍 기하학 파운데이션 모델(streaming geometric foundation model)은 SLAM 시스템의 유력한 대안으로 부상하고 있습니다. 그러나 이러한 스트리밍 특성은 근본적인 문제를 야기합니다. 즉, 각 예측이 제한된 문맥(context)으로부터 이루어지기 때문에 동적 객체와 텍스처가 부족한 영역에 취약합니다. 작은 국소적 오차는 심각한 기하학적 왜곡과 장기적(long-horizon) 스케일 드리프트(scale drift)로 누적됩니다. 본 연구에서는 신뢰할 수 있는 스트리밍 재구성을 위해 기하학 파운데이션 모델이 단순한 예측에 그치지 않고 자기 교정(self-correcting) 능력까지 갖추어야 한다고 주장합니다. 이를 위해 상호 보완적인 두 가지 원리를 기반으로 구축된 자기 교정형 프레임워크인 SURE-Map을 소개합니다. 첫째, 뷰 간(cross-view) 기하학적 불확실성을 명시적으로 모델링합니다. 개별 뷰 예측의 신뢰성을 주로 반영하는 기존의 깊이(depth) 또는 포인트 신뢰도와 달리, 본 연구의 불확실성은 공동으로 예측된 포즈(pose)와 깊이가 기하학적으로 일관된 뷰 간 픽셀 대응을 유도하는지 여부를 직접 측정합니다. 둘째, 국소적 교정만으로는 서서히 누적되는 스케일 오차를 제거할 수 없으므로, 다중 시간 척도(multi-timescale) 자기 교정을 도입합니다. 빠른 연속 프레임 추론(inference)을 통해 스트리밍 효율성을 유지하는 동시에, 희소한 키프레임 윈도우 추론을 통해 더 긴 범위의 기하학적 근거를 제공하여 최근 궤적의 스케일을 주기적으로 재보정합니다. SURE-Map은 장기 벤치마크 전반에서 온라인 피드포워드 재구성을 위한 새로운 SOTA(최고 수준) 성능을 달성하여, KITTI에서 ATE-RMSE를 24.00m에서 17.24m로, Oxford Spires에서 5.11m에서 4.74m로, VBR에서 31.37m에서 28.58m로 감소시켰으며, 루프 클로저(loop-closure) 정제 기법을 통합했을 때 각각 15.17m, 4.63m, 22.12m로 추가 향상되었습니다. 프로젝트 페이지: https://mingkai-liu.github.io/projects/sure-map/.
Visual SLAM은 다양한 실세계 응용에서 널리 쓰이는 잘 정립된 기술이다. 그러나 저텍스처, 심각한 모션 블러, 조명 불량과 같은 어려운 시각 조건에서는 성능이 여전히 저하된다. 심층 학습 기반 시스템은 기하학 기반의 고전적 방법보다 우수하며, 학습된 2D 데이터 연관(data association)과 불확실성(uncertainty)을 순환(recurrent) 아키텍처 안에서 미분 가능한 기하 최적화와 결합함으로써 최신(state-of-the-art) 결과를 달성한다. 그럼에도 이러한 성공에 근본적으로 기여하는 구성 요소가 정확히 무엇인지는 여전히 불분명하다. 본 논문에서는 다음을 묻는다: 심층 학습 기반 시스템의 우수한 성능은 주로 학습된 2D 데이터 연관, 학습된 2D 데이터 연관과 불확실성의 결합, 아니면 순환 아키텍처 자체에 의해 이끌리는가? 우리는 통제된 연구를 통해 이 질문을 실증적으로 조사한다. 결과는 DL 기반 V-SLAM 시스템의 성공이 순환 아키텍처보다는 학습된 2D 데이터 연관과 불확실성에 달려 있음을 보여 주며, 이러한 구성 요소 설계에 학습 기반 패러다임이 필요함을 강조한다.
경로 추적(path tracing) 기반 합성 스테레오는 디스패리티(disparity) 네트워크를 위한 주요 학습(training) 기반 데이터이며, 이를 사용하는 파이프라인들은 몬테카를로(Monte Carlo, MC) 렌더링 노이즈가 두 뷰 사이에서 독립적이라고 가정한다. 이 가정은 그것이 언급되는 수준, 즉 개별 샘플 수준에서는 옳지만, 네트워크가 실제로 보는 대상에 대해서는 아무것도 말해주지 않는다. 우리는 픽셀별 MC \emph{분산 필드}가 독립적인 샘플들로부터 구성되었음에도 불구하고, 정답(ground-truth) 디스패리티로 정렬하고 나면 강하게 상관되어 있으며, 네트워크가 이 상관관계를 이용해 매칭하는 법을 학습할 수 있음을 보인다. 20개의 실내 장면에서 워핑된 상관관계는 $0.754\pm0.016$인 반면 워핑하지 않은 경우는 $0.360$이다. 이 결과는 서로 다른 샘플러와 샘플 예산을 가진 두 번째 렌더러에서도 재현되며($0.743\pm0.044$), 시드 수 분석에 따르면 모집단 값은 약 $0.85$에 이르러 이 측정치가 하한값임을 시사한다. 이 효과는 샘플 수준이 아닌 필드 수준에서 나타난다. 즉 워프 대응(warp correspondence) 지점에서 부호가 있는 시드별 잔차 상관관계는 $-0.0004$인 반면, 잔차 포락선(residual envelope)의 상관관계는 $0.38$이다. 분산 필드 패치만 주어진, 용량이 제한된 샴(siamese) 프로브는 홀드아웃 장면에서 2지선다 강제 선택(two-alternative forced-choice) 정확도 $78.8\%$를 달성하며, 정렬이 깨지면 우연 수준으로 떨어진다. 일반적인 단일 렌더링 조건에서도, 상관 제거(decorrelation)는 이중차분법(difference-in-differences) 설계에서 $2.40$ 퍼센트포인트의 손실을 초래하며, 이는 6개의 홀드아웃 장면 모두에서 양의 값으로 나타난다. 실제 센서의 분산은 전달(transport) 난이도가 아니라 자체 신호에 의해 결정되므로, 뷰 간에는 강도(intensity)와 중복된 정보를 지니게 된다. 즉 이 단서는 렌더링된 데이터에 특화된 것이다.
파운데이션 모델이 수술 영상 분석을 크게 발전시켜 왔지만, 현재 접근법은 대부분 픽셀 수준 재구성 목표에 의존하여 연기, 반사 하이라이트, 유체 움직임 같은 저수준 시각적 세부에 모델 용량을 쓰고, 수술 이해에 필수적인 의미론적 구조는 상대적으로 소홀히 한다. 본 논문은 SurgMotion을 제안한다. 이는 학습 패러다임을 픽셀 수준 재구성에서 잠재(laten) 운동 예측으로 전환하는 비디오 네이티브 파운데이션 모델이다. Video Joint Embedding Predictive Architecture(V-JEPA) 위에 구축된 SurgMotion은 수술 영상에 맞춘 세 가지 핵심 기술 혁신을 도입한다: (1) 의미론적으로 중요한 영역을 우선하기 위한 motion-guided latent masked prediction, (2) 관계적 일관성을 강화하기 위한 시공간 affinity 자기 증류(self-distillation), (3) 텍스처가 sparse한 수술 장면에서 표현 붕괴(representation collapse)를 막기 위한 시공간 특징 다양성 정규화(SFDR). 대규모 사전학습을 위해, 우리는 13개 해부학적 영역·50개 출처에서 총 3,658시간의 영상으로 구성된, 현재까지 최대 규모의 수술 영상 데이터셋 SurgMotion-15M을 구축했다. 17개 벤치마크에 걸친 광범위한 실험에서 SurgMotion은 최신(state-of-the-art) 방법들을 크게 능가한다. 수술 workflow 인식에서는 EgoSurgery에서 F1 score 14.6% 향상, PitVis에서 10.3% 향상을 달성했고, CholecT50에서 action triplet 인식 mAP-IVT 39.54%를 기록했으며, 술기 평가(skill assessment), 용종(polyp) 분할, 깊이 추정(depth estimation)에서도 우수한 성능을 보였다. 이 결과는 SurgMotion을 범용적이고 운동(motion) 중심의 수술 영상 이해를 위한 새로운 기준으로 자리매김한다.
파장별 거리 또는 깊이 센서의 상호 보완적 강점을 활용하는 것은 자율주행과 같은 강건한 컴퓨터 보조 작업에 필수적이다. 그럼에도 불구하고, 대상이 센서로부터 데시미터 단위로 떨어진 근거리에서 동작하는 광학 깊이 센서와 레이더의 교차 영역에 대한 연구는 여전히 부족하다. 근접장(near field)에서 동작하는 고해상도 영상 레이더에 대한 관심이 커지면서, 이러한 센서들이 기존 광학 센서와 비교하여 어떻게 동작하는지에 대한 의문이 제기된다. 본 연구에서는 다중 모달 공간 보정(multimodal spatial calibration)을 사용하여 광학 영역과 무선 주파수(radio-frequency) 영역의 깊이 영상 기기를 공동으로 특성화하는 고유한 과제를 다룬다. 서로 다른 동작 원리를 가진 세 개의 광학 센서와 하나의 영상 레이더를 포함하여, 네 개의 깊이 영상 기기로부터 데이터를 수집한다. 서로 다른 객체 재질, 형상, 객체-센서 간 거리에 따른 깊이 측정값에 대해 포괄적인 평가를 제공한다. 특히, 부분적으로 투과성을 갖는 재질의 산란(scattering) 효과를 밝히고 무선 주파수 신호의 응답을 조사한다. 모든 객체 측정 데이터는 MAROON이라는 다중 모달 데이터셋(dataset) 형태로 공개되며, https://vwirth.github.io/maroon 에서 접근할 수 있다.
깊이 추정(depth estimation)은 의료 및 수술 분야에서 다양하게 활용된다. 본 연구에서는 스타일러스로 샘플링한 참조값(stylus-sampled reference)을 사용하여 돼지 뼈 표본, 돼지 복부(belly) 표본, 실리콘 신장 팬텀(phantom)에 대해 네 가지 깊이 센서를 벤치마크한다. 이 대상들은 균질한 표면(homogeneous surface), 반사 표면(specular surface), 표면하 산란(subsurface scattering) 등 실제 환경의 여러 어려운 조건을 포함한다. 비교에는 약 50cm 거리에서의 스테레오(stereo), 구조광(structured-light), 비행 시간(time-of-flight) 센서가 포함된다. 구체적으로 Intel RealSense D405 (Intel RealSense, 미국), PMD Flexx2 (pmdtechnologies, 독일), Stereolabs ZED 2i (Stereolabs, 프랑스), Zivid 2M+ 60 (Zivid, 노르웨이)를 비교한다. Zivid 2M+ 60은 본 연구에서 고려한 모든 대상과 지표에서 가장 우수한 성능을 보였다. ZED는 실제 조직에서는 2위를 기록했으나 팬텀에서는 최하위였다.
정적 장면에서 기하 변형과 가림(occlusion) 불일치 아티팩트를 공동으로 탐지하는 기하 기반(geometry-grounded) 지표 GeCo를 제안한다. 잔차 움직임과 깊이 사전지식(priors)을 융합하면 GeCo는 이러한 아티팩트를 드러내는 해석 가능한 밀집(dense) 일관성 맵을 생성한다. GeCo를 사용해 최근 비디오 생성 모델을 체계적으로 벤치마크하고 공통 실패 모드를 밝혀 내며, 또한 비디오 생성 중 변형 아티팩트를 줄이기 위한 학습 없는(training-free) 가이던스 손실로도 활용한다.
현재의 시각 생성 모델은 고품질 콘텐츠를 생성할 수 있지만, 공간 구조에 대한 일관된 인식이 부족하다. 기존 생성형 새로운 시점 합성(novel view synthesis) 방법은 일반적으로 명시적 기하학 사전지식을 도입하여 공간적 일관성을 강제하지만, 큰 시점 변화에서의 일반화를 본질적으로 제한한다. 반면, 최근의 대화형 생성 방법은 암시적 장면 모델링을 선호하여 더 큰 유연성을 제공하지만, 정밀한 카메라 제어와 기하학적 일관성을 희생한다. 본 논문에서는 단일 이미지로부터 큰 시점 변화 하에서 렌더링을 가능하게 하는 확산(diffusion) 기반 단안 새로운 시점 합성 프레임워크인 MetaView를 제안한다. 우리의 핵심 통찰은 암시적 기하학 모델링과 최소한이지만 필수적인 명시적 3D 단서를 결합하는 것이다. 제한적인 재구성 파이프라인을 부과하지 않으면서 구조를 정규화(regularize)하기 위해 feed-forward 기하학 인식 네트워크로부터 암시적 기하학 사전지식을 통합하고, metric depth를 활용하여 생성을 metric scale에 고정한다. 이러한 설계를 통해 MetaView는 기하학적 일관성과 정밀한 제어 가능성을 모두 달성할 수 있다. 광범위한 실험 결과, 도전적인 단안 대규모 시점 변화 조건에서 MetaView가 기존 방법들을 크게 능가하며 우수한 일반화 성능을 보임을 입증한다. 코드는 https://github.com/KlingAIResearch/MetaView 에서 공개적으로 이용할 수 있다.
견고하고 프라이버시를 보존하는 실내 장면 이해는 여전히 근본적인 미해결 문제입니다. RGB 및 LiDAR와 같은 광학 센서는 높은 공간적 충실도를 제공하지만, 심각한 가림에 취약하고 실내 환경에서 프라이버시 위험을 초래합니다. 대조적으로, 밀리미터파(mmWave) 레이더는 프라이버시를 보존하고 장애물을 투과하지만, 본질적으로 낮은 공간 해상도로 인해 신뢰할 수 있는 기하 추론이 어렵습니다. 우리는 단일 정적 레이더 기반 실내 장면 이해를 위한 최초의 벤치마크 및 시스템인 RISE를 제안하며, 레이아웃 재구성과 객체 검출을 공동으로 목표로 합니다. RISE는 다중 경로 반사—전통적으로 노이즈로 취급되던—가 풍부한 기하학적 단서를 인코딩한다는 핵심 통찰에 기반합니다. 이를 활용하기 위해, 우리는 도착각(Angle-of-Arrival)과 출발각(Angle-of-Departure)을 명시적으로 모델링하여 2차(ghost) 반사를 복원하고 보이지 않는 구조를 드러내는 Bi-Angular Multipath Enhancement를 제안합니다. 이러한 향상된 관측 위에, 시뮬레이션-현실 Hierarchical Diffusion 프레임워크가 단편적인 레이더 응답을 완전한 레이아웃 재구성 및 객체 검출로 변환합니다. 우리 벤치마크는 100개의 실제 실내 궤적에서 수집된 50,000프레임을 포함하며, 단일 정적 레이더 기반 실내 장면 이해에 전용된 최초의 대규모 데이터셋을 구성합니다. 광범위한 실험 결과 RISE는 mmWave 레이아웃 재구성에서 최신 기술(state of the art) 대비 Chamfer Distance를 60% 감소(16 cm까지)시켰으며, 최초의 mmWave 기반 객체 검출을 달성하여 58% IoU를 기록했습니다. 이러한 결과는 단일 정적 레이더를 사용한 기하 인식 및 프라이버시 보존 실내 장면 이해를 위한 RISE를 새로운 기반으로 확립합니다. 웹사이트와 코드는 https://rise-cvpr.github.io 에서 이용할 수 있습니다.
Reconstructing accurate surfaces from sparse multi-view images remains challenging due to severe geometric ambiguity and occlusions. Existing generalizable neural surface reconstruction methods primarily rely on cost volumes that summarize multi-view features using simple statistics (e.g., mean and variance), which discard critical view-dependent geometric structure and often lead to over-smoothed reconstructions. We propose EpiS, a generalizable neural surface reconstruction framework that explicitly leverages epipolar geometry for sparse-view inputs. Instead of directly regressing geometry from cost-volume statistics, EpiS uses coarse cost-volume features to guide the aggregation of fine-grained epipolar features sampled along corresponding epipolar lines across source views. An epipolar transformer fuses multi-view information, followed by ray-wise aggregation to produce SDF-aware features for surface estimation. To further mitigate information loss under sparse views, we introduce a geometry regularization strategy that leverages a pretrained monocular depth model through scale-invariant global and local constraints. Extensive experiments on DTU and BlendedMVS demonstrate that EpiS significantly outperforms state-of-the-art generalizable surface reconstruction methods under sparse-view settings, while maintaining strong generalization without per-scene optimization.
단안 깊이 추정(MDE) 분야에서는 최근 일반적인 장면에서 뛰어난 제로샷(zero-shot) 성능을 보이는 많은 모델이 등장하고 있습니다. 그러나 이러한 방법들은 투명 또는 거울(ToM) 표면과 같은 비람베르트(non-Lambertian) 표면의 고유한 반사 특성으로 인해 해당 영역의 깊이를 예측하는 데 종종 실패합니다. 기존 방법들은 외부에서 제공된 ToM 마스크를 활용하며, RGB 이미지를 직접 인페인팅하여 올바른 깊이 맵을 얻는 것을 목표로 합니다. 이러한 방식은 추가 입력 마스크의 정확도에 크게 의존하며, 인페인팅 과정에서 무작위 색상을 사용하기 때문에 충분히 강건하지 못합니다. 본 연구는 잘 설계된 학습(training) 프레임워크를 통해 기준선(baseline) 모델이 깊이 추정을 위한 비람베르트 표면 영역의 고유성을 직접 점진적으로 학습할 수 있도록 하는 데 집중합니다. 이에 따라, MDE 모델의 예측을 그래디언트(gradient) 영역에서 제약하여 강건성을 향상시키는 비람베르트 표면 영역 가이던스를 제안합니다. 또한 이 과제에서 조명이 미치는 중대한 영향을 고려하여, 다양한 조명 입력에 대해서도 네트워크가 올바른 결과를 예측할 수 있도록 학습 시 무작위 톤 매핑 증강을 적용합니다. 추가적으로, 다중 노출 이미지를 사용할 수 있을 때 변분 오토인코더(VAE)를 사용하여 여러 이미지를 융합하고 깊이 추정에 가장 유리한 입력 RGB 이미지를 획득하는 새로운 선택적 조명 융합 모듈을 제안합니다. 본 연구의 방법은 비람베르트 표면에 대한 Booster 및 Mirror3D 데이터셋(dataset) 제로샷 테스트에서 Depth Anything V2 대비 각각 33.39%와 5.21%의 정확도 향상을 달성했습니다. TRICKY2024 경진대회 테스트 셋의 ToM 영역에서 delta1.05 기준 90.75라는 최고 수준(SOTA)의 성능을 기록하여 본 접근법의 유효성을 입증합니다.
3D Gaussian Splatting(3DGS)은 3D 공간에 자유롭게 배치된 프리미티브(primitive)를 최적화하고, 재구성이 부족한 영역에서 이를 적응적으로 densify하여 고품질 신규 시점 합성(novel-view synthesis)을 달성한다. 그러나 이러한 장면 적응형 용량 할당(capacity allocation)은 기존 피드포워드 3DGS 방법에서 대부분 상실되며, 이들 방법은 일반적으로 입력 픽셀에서 가우시안을 회귀(regress)하고 카메라 광선을 따라 이를 lift한다. 이러한 픽셀 정렬(pixel-aligned) 공식화는 프리미티브의 수와 배치가 장면 복잡도가 아닌 이미지 해상도와 입력 시점(viewpoint)에 의존하게 하여, 밀집하고 종종 중복적인 가우시안 집합을 초래한다. 본 논문은 적응형 3D 토큰(Adaptive 3D Tokens)을 통해 3DGS 최적화의 적응형 할당 능력을 복원하는 피드포워드 3DGS 프레임워크인 ATSplat을 제안한다. ATSplat은 먼저 coarse 패치 수준의 깊이(depth) 및 카메라 단서를 희소(sparse) 3D 앵커 토큰으로 lift하여 장면의 컴팩트한 스캐폴드(scaffold)를 구성한다. 각 토큰은 학습 가능한 3D 오프셋(offset)을 갖는 국소 가우시안으로 회귀되어, 프리미티브 배치를 입력 이미지 격자(grid)로부터 분리(decouple)한다. 적응형 토큰 확장(Adaptive Token Expansion) 모듈은 렌더링 오차 맵(rendering error map)으로 지도(supervise)되는 토큰 수준 불확실성 점수를 예측하고, 학습 가능한 확장(expansion) 레이어를 통해 높은 불확실성 토큰을 선택적으로 확장한다. 이러한 sparse-to-adaptive 공식화를 통해 ATSplat은 컴팩트한 표현을 유지하면서 어려운 영역에 프리미티브를 집중할 수 있다. RealEstate10K와 DL3DV라는 두 대표 데이터셋에서의 실험 결과, ATSplat은 밀집(dense) 피드포워드 3DGS 방법 대비 가우시안 수를 $5.7\times$ 이상 줄이면서도 최첨단(state-of-the-art) 렌더링 품질을 달성한다. $512 \times 960$ 해상도의 입력 이미지 12장으로, ATSplat은 단일 상용 GPU에서 1초 미만에 재구성을 완료하며, 311K개의 가우시안만으로 $512 \times 960$ 해상도에서 1136 FPS로 고품질 신규 시점을 렌더링한다.
구조광(structured-light, SL) 카메라는 수백만 대의 기기에서 깊이 감지를 담당하며, 최근 신경 SL 디코딩 방법들이 깊이 품질을 크게 향상시켰다. SLAM 시스템은 신뢰할 수 있는 기하학이 안정적인 추적과 충실한 재구성을 가능하게 하는 이러한 강력한 깊이 감지로부터 큰 이점을 얻을 수 있다. 본 연구에서는 고충실도 구조광 깊이에 맞춘 실용적인 SLAM 시스템인 NSL-SLAM을 제안한다. 먼저 SL 깊이 감지를 강화한다. 신경 구조광(NSL) 방법에서 영감을 받아 SL 스테레오 디코딩에 강력한 단안(monocular) 깊이 사전(prior)을 추가로 통합하여 Replica-SL에서 NSL 대비 깊이 RMSE를 35% 감소시켰다. 그다음 이 강화된 깊이를 활용해 깊이 중심 SLAM 파이프라인을 구축한다. 구조광 기하학은 조밀하고 측정(metric)적으로 정확하기 때문에 이를 주 추적 신호로 유지하고, 기하학적으로 퇴화(degenerate)한 경우에만 희소(sparse) 시각 대응(correspondence)을 추가하며, 장거리 드리프트(drift)에는 경량 번들 조정(bundle adjustment)을 적용한다. 깊이 추정기와 SLAM 설계는 상호 보완한다. 더 강한 깊이는 단순한 SLAM 파이프라인을 효과적으로 만들고, 깊이 중심 파이프라인은 이 이점이 하류 재구성으로 전달되도록 보장한다. 실험적으로, 합성 Replica-SL 벤치마크에서 NSL-SLAM은 최고의 추적 정확도를 달성하고 공유 깊이(shared-depth) 프로토콜 하에서 SOTA 기준선 대비 재구성 F-score를 1.6점 향상시킨다. 8개의 도전적인 장면으로 구성된 실제 벤치마크에서는 모든 시퀀스에서 치명적 실패를 피한 유일한 방법이며, 선정된 기준선 대비 궤적 편차(trajectory deviation)를 43.3% 낮췄다. SLAM 시스템은 20.9 FPS로 온라인 실행되며, 더 강한 구조광 깊이와 깊이 중심 시스템 설계가 함께 실용적이고 견고한 SLAM을 가능하게 함을 보여준다.
표준 깊이 센서는 투명 표면에서 체계적으로 실패하여 손상된 3D 맵과 심각한 내비게이션 위험을 초래한다. 전용 하드웨어 센서는 유리를 감지할 수 있지만 모듈성이 부족하고 광범위한 하드웨어 의존성을 갖는다. 그 결과 학습 기반 단안(monocular) 깊이 추정이 매력적인 대안으로 부상했다. 그러나 도메인 특화 유리 인식(glass-aware) 단안 깊이 추정기는 낯선 실내 레이아웃에서 어려움을 겪으며, 실제 세계 유리 깊이 주석(annotation)의 심각한 부족에 제약받아 새로운 환경에 제로샷(zero-shot)으로 일반화하지 못한다. 이는 텍스트-이미지 확산 모델의 풍부한 사전 지식이 투명 표면에 대한 일반화 가능한 인식을 가능하게 할 수 있는지 탐구하도록 동기를 부여한다. 우리는 SILICA를 제안한다. 이는 이러한 사전 지식을 활용하여 유리 분할과 유리 인식 깊이를 공동으로 예측하는 통합 파이프라인이다. 이 상호 정보 교환은 견고한 공간 계층 구조를 수립하여 짝을 이룬(paired) 실제 세계 유리 깊이 주석의 필요성을 완전히 제거한다. 이후 예측된 분할 마스크를 사용하여 표준 센서의 잘못된 유리 깊이 포인트를 명시적으로 필터링하고, 하위 3D 매핑 및 자율 충돌 회피를 위한 정확한 메트릭(metric) 유리 깊이를 복원한다. 우리의 새로운 Mirage 18k 데이터셋을 바탕으로 한 광범위한 실험은 SILICA가 다양하고 보지 못한(unseen) 환경 전반에서 놀라운 제로샷 전이를 달성하며, 최신(state-of-the-art) 모델을 거의 20% 능가하고 투명 표면 인식의 새로운 벤치마크를 수립함을 보여준다.
스테레오 매칭과 표면 법선 추정은 3D 비전에서 기본적인 과제이다. 그러나 기존 피드포워드(feed-forward) 스테레오 방법은 강력한 기하 사전(prior)의 부족으로 인해 어려운 영역에서 신뢰할 수 있는 예측을 생성하는 데 여전히 어려움을 겪는다. 본 논문에서는 강력한 diffusion 사전을 활용하여 시차와 표면 법선을 공동으로 예측하는 통합 스테레오 기하 추정 프레임워크인 GeoStereo를 제안한다. 구체적으로, GeoStereo는 피드포워드 스테레오 매칭 파이프라인과 diffusion 기반 법선 추정 분기(branch)를 결합한다. 두 과제 간 효과적인 상호작용을 가능하게 하기 위해, 시차에서 법선으로의 초기화 전략을 도입하고 diffusion 과정을 위한 왼쪽 뷰(left-view) 조건으로의 warp를 구성한다. 이 결합 설계는 diffusion 분기가 ill-posed 영역에서 시차 추정을 향상시키는 강력한 구조적 사전을 제공하는 동시에, 피드포워드 분기가 정확한 법선 예측을 위한 신뢰할 수 있는 기하적 안내를 제공하도록 한다. 광범위한 실험 결과, GeoStereo는 저조도 환경, 고반사 표면, 투명 물체 등 어려운 시나리오에서도 안정적으로 동작함을 보여준다. 제로샷(zero-shot) 설정에서 KITTI, NYUv2 등 여러 벤치마크에서 시차 추정 Rank-1을 달성하며, iBims-1, ScanNet 등 다수의 실내 벤치마크에서 최고의 법선 추정 정확도를 제공한다. Project page: https://qz-wei.github.io/GeoStereo.github.io/
대규모 도로 표면 재구성은 고해상도 매핑, 자율주행 인식, 어노테이션, 시뮬레이션을 지원한다. 기존 도로 특화 최적화 방법은 고품질 도로 표현을 생성할 수 있지만, 일반적으로 장면별 학습과 주행 궤적 주변의 장면 의존적 커버리지 설계가 필요하여, 새로 수집된 도로에 대한 확장 가능한 재구성을 제한한다. 이러한 한계를 해결하기 위해, 테스트 시점 장면별 최적화 없이 간결한 가우시안 도로 표면을 재구성하는 도로 구조 인식 피드포워드 프레임워크인 RoadVGGT를 제안한다. RoadVGGT는 기하학적 파운데이션 모델을 사용하여 다중 뷰 이미지와 제공된 포즈 및 깊이 관측을 함께 활용하고, 학습된 가우시안 헤드를 통해 밀집한 픽셀 정렬 가우시안 속성을 예측한다. 이러한 밀집 예측을 대규모 도로 표면에 활용 가능하게 하기 위해, 일관된 미터법 세계 좌표계로 정렬하고 도로 정렬 XY 평면에서 신뢰도 가중 그리드 융합을 통해 중복 가우시안을 융합한다. 카테고리 인식 그룹화와 도로-보도 접합부 보호는 취약한 도로 구조 주변의 융합을 추가로 제어한다. 결과 표현은 RGB 및 의미론적 조감도(bird's-eye-view) 맵, 고도 추정, 새로운 시점 합성을 지원한다. RoadVGGT는 기존 방법의 장면별 최적화 필요성을 제거하고, 간결한 가우시안 표현으로 완전한 도로 표면을 재구성하며, 이미지 품질, 의미론적 매핑, 고도 정확도를 향상시킨다. 광범위한 실험은 확장 가능한 피드포워드 도로 표면 재구성을 위한 기하학적 파운데이션 모델의 잠재력을 입증한다.
단일 이미지로부터 질량, 강성, 탄성과 같은 물리적 속성을 추론하는 것은 시뮬레이션 및 체화 AI(embodied AI)에 필수적이지만, 기존 대부분의 접근법은 다중 뷰 재구성 또는 물리 기반 감독에 의존한다. 우리는 3D 인식 시각 단서·깊이와 언어 기반 재료 지식을 정렬하는 단일 이미지 물리적 속성 추론을 위한 통합 프레임워크인 SiPhy를 제안한다. 하나의 RGB 이미지로부터 SiPhy는 pseudo-voxel 포인트를 샘플링하고 CLIP 특징을 추출하며, VLM이 제안한 재료 후보에 이를 그라운딩(grounding)한다. 부품 기반 대조(contrastive) 집계기는 영역 일관성을 강제하고, heaviness-aware 정제(refinement)는 밀집 객체에 대한 두께 및 부피 추정을 개선한다. ABO-500, MVImgNet-100, PhysXNet-100에서 SiPhy는 최첨단 단일 이미지 성능을 달성하며, 다중 뷰 재구성 방법을 능가한다: 질량 MnRE를 최대 93% 개선(PUGS 대비), 밀도 MAE를 35.5% 감소(NeRF2Physics 대비), 영률(Young's modulus) 오차를 23.5% 낮춘다. 또한 실제 손-객체 상호작용 데이터셋에서 SiPhy를 검증하여, 단일 뷰 영상으로부터의 물리적 이해를 위한 데이터 어노테이션 엔진으로서의 잠재력을 보여준다.
자율주행 시스템에서 레이더-카메라 인식을 위해 정확하면서도 낮은 지연의 깊이 추정이 필수적이다. 카메라는 풍부한 외관 정보를 제공하지만 메트릭 스케일이 부족한 반면, 자동차용 레이더는 메트릭 거리 정보를 제공하지만 희소하고 노이즈가 많다. 많은 파이프라인은 다단계 구조이거나 보조 어노테이션에 의존하여 지연을 증가시키고 이식성을 제한한다. 본 연구에서는 레이더, 카메라, 단일 스캔 LiDAR만으로 학습되는 단일 단계 레이더-카메라 깊이 추정기 JustDepth를 제안한다. 모든 레이더 반사값은 고정 너비 1D 표현으로 집계되어 런타임이 포인트 수와 분리된다. Height Fusion Block이 모달리티를 융합하고, 경량 GNN이 깊이를 전역적으로 전파하며, 학습 전용 신뢰도 디코더가 테스트 시 추가 비용 없이 학습을 안정화한다. 간단한 증강을 통해 줄무늬 아티팩트를 완화하고, 수직-수평 그래디언트 비율(Vertical-Horizontal Gradient Ratio, VHGR)로 이를 정량화한다. nuScenes에서 최근 최신 방법들과 비교했을 때 JustDepth는 정확도를 유지하면서 추론 시간을 39.7배 단축하고 VHGR 기준 줄무늬 아티팩트를 66% 감소시킨다.
행성형 지형과 같이 저텍스처, 지각적 에일리어싱(perceptual aliasing), 혹독한 조명, 그리고 전진 로버 이동과 제약 없는 주행 방향으로 인해 희소하고 겹침이 약한 시점(viewpoint)이 형성되는 환경에서는 시각적 국소화(visual localization)가 극히 어렵다. 이러한 조건에서 최신 image-to-image 및 image-to-map 매칭 파이프라인은 성능이 크게 저하된다. 본 연구에서는 3D Gaussian Splatting(3DGS)로 구축한 미분 가능한 맵 표현에 대해 카메라 포즈를 직접 추정함으로써, 고전적인 대응(correspondence) 기반 파이프라인과 다른 시각적 재국소화(visual relocalization) 방법을 제안한다. 핵심 기여는 광도(photometric) 손실과 기하(geometric) 손실을 결합한 기하 인식(geometry-aware) 학습 전략이며, 기하적 지도(supervision)는 MVS(multi-view stereo)와 LiDAR 깊이를 결합하여 최초로 제공된다. 이 공동 최적화는 기본 장면 기하에 더 잘 부합하는 3DGS 모델을 생성하며, 광도·기하 일관성을 향상시키고 더 견고하고 정확한 단일 이미지 6-DoF 포즈 추정으로 이어진다는 것을 보인다. 행성 유사(planetary-analog) 환경에서 수집한 데이터에 대한 광범위한 실험을 통해 접근법의 효과를 검증했으며, 어려운 조건에서 재국소화 정확도가 크게 향상됨을 보였다. 코드는 https://github.com/DLR-RM/multimodal-gsplat-relocalization 에서 제공된다.
무인항공기(UAV) 통신은 6G 이동통신 네트워크에서 다양한 저고도 응용을 지원할 것으로 기대된다. 그러나 전통적인 통계적 채널 모델은 특정 환경에서 정확도가 제한적이며, 광선 추적(ray tracing)과 같은 결정론적 방법은 일반적으로 정확한 3차원 환경 모델에 의존하고 높은 계산 복잡도를 수반한다. 기존의 멀티모달 채널 예측 접근법은 주로 경로 손실(path loss)과 같은 대규모 지표에 초점을 맞추며, 소규모 파라미터 모델링에는 여전히 부족하다. 이러한 한계를 해결하기 위해 본 논문은 PanoLAMP(Panoramic perception and vision-language model-based Low-Altitude Multipath Prediction) 프레임워크를 제안한다. 이는 사전학습된 비전-언어 모델을 백본으로 채택하고, 송신기와 수신기 모두에서 수집한 파노라마 RGB-D 관측을 통해 전파 환경 특징을 포착하여 시선(line-of-sight) 경로에 대한 지연, 전력, 방위각, 천정각 오프셋을 예측한다. 실험은 7가지 UAV 고도에 걸친 18,949개의 UAV-차량 링크를 포함하는 합성 데이터셋에서 수행되었다. 실험 결과, 제안 방법은 다중경로 파라미터와 통계적 지표 모두에서 대표적인 베이스라인을 지속적으로 능가하며, 서로 다른 비행 고도에 걸쳐 더 강한 일반화 성능을 보였다.