PyTorchKR Papers

최신 논문

총 2,547편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.14941v1cs.CV

라이트 필드 시차 추정을 위한 주파수 구조화 필드 학습

Frequency-Structured Field Learning for Light-Field Disparity Estimation

라이트 필드 시차 추정은 매끄럽거나 텍스처가 없는 영역에서는 전역적 일관성을, 가림 경계, 얇은 구조, 급격한 깊이 전환 부근에서는 국소적 정밀도를 요구한다. 기존 방법들은 EPI 매칭, 코스트 볼륨(cost volume) 또는 포컬 스택(focal stack) 구성, 뷰 집계(view aggregation), 또는 직접적인 합성곱 회귀를 통해 이러한 요구사항을 해결하며, 종종 국소 윈도우, 이산 시차 가설, 메모리 집약적인 볼륨, 또는 어텐션 기반 집계에 의존한다. 우리는 대신 필드 수준에서 시차 추정을 공식화하여, 시차 볼륨을 명시적으로 구성하지 않고 전역적·국소적으로 갱신된 EPI 기반 잠재 특징으로부터 시차를 예측한다. 우리는 FreqLF를 제안한다. 이는 수평 및 수직 EPI 스택으로부터 각도 시차(angular parallax) 단서와 중심 뷰(central-view) 외관 특징을 함께 인코딩하는 EPI 유도 Fourier-국소 프레임워크이다. 이러한 단서들은 잠재 필드(latent field)로 투영되어 쌓인 하이브리드 Fourier-국소 레이어를 통해 갱신된다. Fourier 저차(low-mode) 갱신은 전역적 특징 상호작용을 가능하게 하고, 국소 합성곱은 세밀한 시차 디테일에 필요한 공간적 변화를 보존한다. 좌표 조건화(coordinate-conditioned) Gaussian 혼합 디코더가 이어서 시차를 예측하며, 혼합 평균을 최종 추정치로 사용한다. HCI 4D Light Field 벤치마크 실험에서 FreqLF는 기본 모델에서 명시적 코스트 볼륨 구성을 피하면서도 강력한 지도 학습 기준선의 정확도에 근접함을 보인다. Ablation 실험은 Fourier 분기와 국소 분기의 상호 보완적 역할을 확인하고, 스케일링 실험은 공간 해상도에 걸쳐 실용적 동작을 보여준다. 이러한 결과는 Fourier-국소 잠재 필드 학습이 라이트 필드 시차 추정에 있어 경쟁력 있는 대안임을 시사한다. 코드는 곧 공개될 예정이다.

arXiv:2607.14876v1cs.CV

위상 이동 프로파일메트리 기반 안구 재구성을 위한 회전 운동 유발 오차 보상

Rotational Motion-Induced Error Compensation for Phase-Shifting Profilometry-Based Eye Reconstruction

가상·증강 현실(VR/AR)용 몰입형 헤드 마운트 디스플레이(HMD)가 확산됨에 따라 신뢰할 수 있는 고정밀 안구 추적이 점점 더 중요해졌다. 기존 2D 이미지 기반 방법은 시스템 복잡도는 낮지만 안정성, 정확도, 견고성 측면에서 한계가 있다. 3차원 안구 표면 재구성은 더 풍부한 기하학적 정보를 제공할 수 있으며, 구조화 광 프로파일메트리(structured light profilometry)는 조밀하고 정확한 표면 측정을 가능하게 하기 때문에 특히 매력적이다. 그러나 순차적으로 획득한 fringe 이미지로부터 위상을 추정하는 위상 이동 프로파일메트리(Phase-Shifting Profilometry, PSP)는 프레임 간에 안구가 회전할 때 운동 유발 오차에 매우 취약하다. 본 연구는 PSP 기반 동적 3D 안구 재구성을 위한 회전 운동 보상 프레임워크를 제안한다. 구면 좌표계 영역에서 사용자별 3D 안구 모델을 이용해 이미지 기반 운동 단서로부터 상대적 안구 회전을 추정한다. 추정된 운동은 이어서 프레임 간 회전으로 인한 카메라 픽셀 불일치와 위상 이동 오차를 보상하는 데 사용된다. 또한 서로 다른 안구 영역에서 보상 강도를 독립적으로 정제함으로써 잔여 아티팩트를 줄이기 위한 영역별 최적화 전략을 도입한다. 비균일 운동 하에서 회전하는 모형 안구를 이용한 실험은 제안 방법이 운동 유발 변형을 실질적으로 억제하고 재구성 정확도를 향상시킴을 보여준다. 비구형 강체 물체에 대한 추가 실험은 보상 원리가 구형 안구 기하에 국한되지 않음을 시사한다. 이러한 결과는 몰입형 환경에서의 미래 고정밀 안구 추적을 향한 안정적인 PSP 기반 동적 3D 안구 재구성의 실용적 토대를 마련한다.

arXiv:2607.09815v2cs.RO

RASR: 메트릭 UAV 내비게이션을 위한 거리 인식형 스케일 복원

RASR: Range-Aware Scale Recovery for Metric UAV Navigation

GNSS(Global Navigation Satellite System) 차단 환경에서의 이미지 목표(image-goal) UAV 내비게이션에서 핵심적인 과제는 현재 시점과 목표 시점 간의 메트릭 거리와 방향(heading)을 추정하는 것이다. 밀집 쌍별(pairwise) 기하 모델은 상대적인 장면 구조를 포착하지만, 보정된 메트릭 스케일 없이는 내비게이션에 필요한 신뢰할 수 있는 거리 추정값을 직접 제공할 수 없다. 전역 스케일 보정이 지배적인 스케일 바이어스를 보정하더라도, 남은 오차는 거리에 따라 체계적으로 변한다. 본 논문에서는 전역 스케일 보정에 거리 인식형 잔차 보정을 더해 보완하는 Range-Aware Scale Recovery(RASR)를 제안한다. RASR은 고정(frozen)된 Matching And Stereo 3D Reconstruction(MASt3R) 백본이 추출한 쌍별 기하를 간결한 디스크립터(descriptor)로 인코딩하고, 스케일 복원 핵심 모듈을 과제별 명령 보정과 분리한다. UAVs in Multimedia 2026 PairUAV 챌린지의 공식 온라인 평가에서 RASR은 총 오차 0.003189를 기록했으며, 전역 스케일 보정만 사용한 경우보다 더 낮은 총 오차를 달성했다. 결과는 거리 인식형 잔차 보정이 전역 스케일 보정을 넘어 메트릭 거리 추정을 향상시킨다는 것을 보여준다. 코드와 자료는 https://github.com/lht-research/rasr-pairuav 에서 확인할 수 있다.

arXiv:2605.30060v3cs.CV

일관된 비디오 기하 추정을 향하여

Towards Consistent Video Geometry Estimation

본 연구는 비디오 시퀀스로부터 공간적으로 조밀하고 시간적으로 일관된 기하를 복원하는 피드포워드 파운데이션 모델 ViGeo를 제안한다. 작업별 아키텍처 수정 없이 단순한 트랜스포머 아키텍처 위에 구축된 ViGeo는 단일 통합 모델 내에서 스트리밍, 전체 시퀀스, 장시간 비디오 추론을 지원한다. 핵심 설계는 동적 청킹 어텐션(dynamic chunking attention)으로, 학습 중 모델이 양방향 및 인과적(causal) 시간 맥락을 모두 접하도록 하며, 재학습 없이 테스트 시점에 어텐션 패턴을 적응할 수 있게 한다. 감독 품질을 높이기 위해 completion 기반 데이터 정제 프레임워크를 추가로 도입한다. 이 프레임워크는 희소하고 노이즈가 있는 어노테이션을 조건으로 하고 비디오/다중 시점 맥락을 활용하여 조밀하고 시간적으로 일관되며 기하학적으로 신뢰할 수 있는 학습 타깃을 생성하는 비디오 깊이 completion 교사 모델을 학습한다. 깊이와 포인트 맵을 넘어 ViGeo는 동일한 프레임워크 내에서 표면 법선(surface normal)도 예측한다. 공개 데이터셋만으로 학습된 ViGeo는 온라인, 오프라인, 장시간 비디오 깊이 추정, 표면 법선 추정, 비디오 포인트 맵 추정 전반에서 최신(state-of-the-art) 성능을 달성한다.

arXiv:2605.10174v2cs.CV

BathyFacto: 수심측량을 위한 굴절 인식 이중 매체 Neural Radiance Fields

BathyFacto: Refraction-Aware Two-Media Neural Radiance Fields for Bathymetry

UAV 영상 기반 수중 촬영(through-water photogrammetry)은 천해 수심측량을 가능하게 하지만, 공기-물 계면에서의 굴절은 Structure-from-Motion(SfM)의 직선 광선 가정을 위반하고 체계적인 깊이 바이어스를 유발한다. 우리는 시뮬레이션 데이터에서 메트릭적으로 일관된 수중 포인트 클라우드를 위해 Nerfstudio의 Nerfacto를 굴절 인식 이중 매체로 확장한 BathyFacto를 제안한다. BathyFacto는 공유 hash-grid 밀도 필드와 매체 조건화(medium-conditioned) 색상 헤드를 사용하며, 각 카메라 광선을 두 구간으로 추적한다: 평면 수면까지의 직선 공기 구간과 스nell의 법칙(Snell's law) 및 알려진 굴절률로 계산된 굴절 물 구간. 단일 proposal-network 샘플러는 가상 직선 광선에서 동작하고, kinked density wrapper는 밀도 평가 전에 물 구간 위치를 보정한다. 우리 파이프라인은 측량 재구성을 Nerfstudio 형식으로 변환하고, 경계 마커에서 수면 평면을 추정하며, 픽셀별 매체 마스크를 제공하고, world 및 global 프레임으로의 가역 변환과 함께 굴절 보정된 포인트 클라우드 내보내기를 지원한다. ground truth가 있는 시뮬레이션 장면에서 BathyFacto는 강체 정렬(rigid-body alignment) 없이 절대 global 프레임에서 Cloud-to-Mesh signed median deviation -0.001m 및 0.2m 허용 오차에서 85.7% completeness를 달성한다. 이는 Nerfacto의 +1.370m / 11.6% 및 굴절 미적용 BathyFacto의 +1.409m / 9.9%와 대비된다. 단순 굴절률 기반 깊이 보정 후에도 두 베이스라인은 약 0.4m의 오프셋이 남는다. 주로 near-nadir 시점에서 신뢰할 수 있는 굴절 보정 Multi-View Stereo(MVS) 기준과 달리, BathyFacto는 전체 카메라 입사각 범위에서 일관된 기하를 복원한다.

arXiv:2509.14839v3cs.CV

MapAnything: 3D 도시 자산 위치 추정을 위한 단안 메트릭 깊이 모델 평가

MapAnything: Evaluating Monocular Metric Depth Models for 3D Urban Asset Localization

도시 행정 기관은 교통 표지판과 나무 같은 도시 자산뿐 아니라 낙서나 도로 손상 같은 사건에 대한 포괄적인 데이터베이스와 디지털 트윈(digital twin)에 점점 더 의존하여 도시 상태에 대한 효과적인 개괄을 유지하고 있다. 디지털화는 지속적으로 갱신되는 공간 데이터셋(spatial dataset)에 대한 수요를 증가시켰지만, 현재 데이터 수집 및 유지보수 프로세스에는 여전히 상당한 수작업이 필요하여 확장성(scaling) 측면에서 큰 문제를 야기한다. 본 논문은 단일 단안(monocular) 이미지로부터 도시 객체와 사건의 공간 매핑을 자동화하는 체계적인 평가 파이프라인인 MapAnything을 소개한다. 고급 Metric Depth Estimation 모델을 활용하여 MapAnything은 객체의 지리 좌표(geocoordinate)를 정확히 계산하고, 2D 이미지 데이터를 유용한 3D 공간 정보로 변환한다. 해당 방법론은 추정된 카메라-객체 거리를 기하학적 원리와 알려진 카메라 사양과 통합한다. 우리는 복잡한 도시 환경에서 고정밀 LiDAR 포인트 클라우드와의 거리 추정 정확도를 비교하며, 이 프레임워크에 대한 상세한 검증(validation)을 제시한다. 우리의 평가는 도로와 식생(vegetation)과 같은 다양한 거리 구간 및 의미론적(semantic) 영역에 걸친 공간 성능에 대한 세밀한 분석을 제공한다. 마지막으로, 교통 표지판 및 도로 노면 손상 매핑을 포함한 구체적인 사용 사례를 통해 프레임워크의 실용적 효과를 입증하고, 자동화된 도시 인벤토리 시스템에의 통합을 위한 권장 사항을 제공한다.

arXiv:2507.19474v2cs.CV

DINO-SLAM: 신경 암시적·명시적 표현을 위한 DINO 기반 RGB-D SLAM

DINO-SLAM: DINO-informed RGB-D SLAM for Neural Implicit and Explicit Representations

본 논문은 DINO-SLAM을 제안한다. DINO-SLAM은 DINO가 제공하는 더 포괄적인 의미(semantic) 이해를 통해 SLAM 시스템에서 암시적 표현(Neural Radiance Field, NeRF)과 명시적 표현(Gaussian Splatting, GS)을 향상시키는 DINO 기반 설계 전략이다. 그러나 DINO만으로는 적절한 3D 기하(geometry) 이해가 부족하여 개선 폭이 제한적이다. 따라서 본 연구는 Scene Geometry Encoder(SGE)를 사용하여 DINO 특징(feature)을 기하 인식 DINO 특징(geoDINO)으로 풍부하게 만들고, 순수 DINO 특징이 포착하지 못하는 기하적 관계를 더 잘 이해한다. 이를 바탕으로 geoDINO 특징을 통합한 NeRF 및 GS SLAM 시스템을 위한 두 가지 기본 패러다임을 제안한다. 최신(state-of-the-art) 방법들과 비교했을 때, 제안한 DINO 기반 파이프라인은 Replica, ScanNet, TUM 데이터셋에서 우수한 성능을 달성한다.

arXiv:2607.13674v1cs.CV

WAVE-Stereo: 스테레오 매칭을 위한 워프 정렬 볼륨 인코딩

WAVE-Stereo: Warp-Aligned Volume Encoding for Stereo Matching

기존 반복적 스테레오 매칭 방법들은 주로 두 가지 대응 관계 표현 방식을 채택한다. 하나는 상관 볼륨(correlation volume)을 통한 명시적 매칭 탐색이고, 다른 하나는 워프된 특징(warped feature)을 통한 국소 잔차 정제이지만, 이 둘은 여전히 별도로 모델링된다. 우리는 WAVE-Stereo를 제안한다. 핵심 통찰은 상관 볼륨과 특징 워핑(feature warping)이 상보적인 매칭 단서를 제공한다는 것이다. GeoWarp Correspondence Encoder(GWCE)는 ConvGRU 입력에서 매칭 탐색, 잔차 정렬, 시차(disparity) 사전을 병렬로 인코딩한다. 텍스처가 없는 영역에서의 매칭 저하를 완화하기 위해, 주기적으로 전역 공간 정보를 전파하는 Periodic Global Context Propagation(PGCP)을 제안한다. Middlebury, ETH3D, KITTI 2012, KITTI 2015, Booster의 다섯 가지 실세계 벤치마크에서 WAVE-Stereo는 외부 기반 모델(foundation model) 사전 지식 없이 경쟁력 있는 제로샷(zero-shot) 일반화 정확도를 달성한다. KITTI 2015에서 3.18% D1-all, Booster에서 4.42% Bad-2.0, 66ms 실시간 추론을 기록하며 정확도와 효율성 사이의 유리한 균형을 이룬다. 코드는 https://github.com/yamanoko-do/WAVE-Stereo 에서 이용할 수 있다.

arXiv:2607.13481v1cs.CV

GPOcc++: 시각 기하학 사전정보를 활용한 통합 희소 Gaussian 점유 예측

GPOcc++: Unified Sparse Gaussian Occupancy Prediction with Visual Geometry Priors

정확한 3D 장면 이해는 체화 지능(embodied intelligence)과 자율주행의 기초이며, 3D 점유(occupancy)는 객체, 구조, 자유 공간에 대한 통합 표현을 제공한다. 그러나 시각 관측으로부터 이러한 완전한 체적(volumetric) 표현을 복원하는 것은, 특히 가려지거나 관측되지 않은 영역에서 여전히 어렵다. 시각 기하학 사전정보(visual geometry priors)는 이 문제를 해결하기 위한 강력하고 일반화 가능한 기하학적 단서를 제공하지만, 그 출력은 본질적으로 표면 중심(surface-centric)인 반면 점유 예측은 체적 내부와 자유 공간에 대한 추론을 요구한다. 이 간극을 메우기 위해, 우리는 visual geometry priors를 점유 인식(occupancy-aware) 희소 Gaussian 표현으로 변환하여 효율적이고 표현력 있는 체적 장면 모델링을 가능하게 하는 GPOcc를 제안한다. GPOcc를 기반으로 GPOcc++는 통합 프레임워크 내에서 다중 시점(multi-view) 관측과 시간적 시퀀스를 모델링하여, 공간 및 시간적 증거를 동일한 표현으로 처리할 수 있게 한다. 또한 GPOcc++를 실내 장면에서 실외 점유 예측으로 확장한다. 실내 및 실외 벤치마크에서의 광범위한 실험은 다중 시점 및 시간적 설정 모두에서 일관되게 강력한 성능과 함께 우수한 효율성 및 일반화를 보여준다. 코드는 https://github.com/JuIvyy/GPOcc 에서 공개될 예정이다.

arXiv:2607.13371v1cs.CV

RoughNet: 확산 기반 위성 영상 초해상화를 통한 북극 해빙 거칠기 매핑

RoughNet: Mapping Arctic Sea Ice Roughness Using Diffusion-Based Super-Resolution of Satellite Imagery

고정해빙(landfast sea ice) 거칠기의 정확한 추정은 기후 모델링과 안전한 북극 빙상 통행에 필수적이지만, 기존 접근법은 비용이 큰 항공 측량이나 sparse한 현장 측정에 의존하여 공간적 커버리지와 운영 확장성을 제한한다. 여기서는 조건부 확산 프레임워크를 사용하여 광학 위성 영상으로부터 고해상도 해빙 지형을 직접 복원할 수 있음을 보인다. 우리의 접근법인 RoughNet은 10m 해상도 Sentinel-2 다중분광 영상을 국소 정규화된 1m 표면 고도 잔차 장으로 매핑하는 방법을 학습하여, 널리 이용 가능한 위성 데이터로부터 미세 규모 거칠기 특성화를 가능하게 한다. 두 개의 북극 지역에서 수집한 항공 LiDAR 데이터로 학습하고, 이전에 보지 못한 세 번째 북극 지역에서 평가한 결과, 모델은 다양한 빙상 조건에 일반화되며 소규모 지형 구조를 부분적으로 재현한다. 최고 성능 모델은 영역 외(out-of-domain) 평균 제곱근 오차(RMSE) 9cm를 달성하면서, 기저 거칠기 장의 통계적 및 스펙트럴 특성을 보존한다. 이 결과는 생성형 확산 모델이 광학 영상만으로 물리적으로 의미 있는 표면 구조를 복원할 수 있음을 보여주며, 데이터가 sparse한 환경에서 고해상도 해빙 매핑과 거칠기 추정을 위한 확장 가능한 경로를 제공한다.

arXiv:2607.13010v2cs.CV

DermDepth: 피부과를 위한 단안 단위 척도 3D 재구성 모델

DermDepth: Toward Monocular Metric Scale 3D Reconstruction Models for Dermatology

피부과 진료에서는 상처 또는 피부암의 선별, 모니터링 및 진단의 핵심 요소로서 병변의 크기, 형태 및 질감을 측정하고 추적하는 것이 일상적으로 수행된다. 이 작업을 수행하기 위해 의료진은 일반적으로 상용 카메라 센서로 피부 표면을 촬영한다. 이러한 목표는 본질적으로 3D 정보로부터 이익을 얻을 수 있음에도 불구하고, 이로 인해 연구의 압도적인 초점이 2D 방법에 맞춰져 왔다. 본 논문에서는 추가 하드웨어 또는 다중 촬영 없이도 피부경 검사 및 거시적 사례 모두에서 밀집 단안 3D 재구성, 단위 척도 측정, 풍부한 표면 법선 텍스처 추정이 달성 가능함을 보인다. DermDepth는 피부과 영역을 위한 최초의 단일 시점 단위 척도 3D 모델이며, D-Synth는 픽셀 단위 정밀 3D 정보를 갖춘 최초의 합성 피부경 검사 데이터셋이다. 실험 결과, D-Synth로 DermDepth를 학습하면 실제 피부경 검사 데이터에 대한 단위 척도 오차가 16배 이상에서 1.1배 미만으로 교정되며, 기하학적 품질을 유지하면서 텍스처 풍부함이 증가한다. 소량의 실제 임상 샘플에 대한 미세조정을 통해 수 mm에서 수십 cm 범위, 다양한 피부 톤, 만성 상처 사례를 포괄하는 세 가지 실세계 벤치마크 전반에 걸쳐 본 방법이 일반화되며, 의학 문헌에 보고된 질병 크기와 대체로 일치하는 측정값을 산출한다. 모든 코드, 데이터 및 모델은 https://github.com/hectorcarrion/dermdepth 에서 이용할 수 있다.

arXiv:2607.12993v2cs.CV

X-Lens: 이종 카메라를 이용한 실시간 메트릭 깊이 추정

X-Lens: Real-Time Metric Depth Estimation with Heterogeneous Cameras

본 논문은 가변 개수의 보정된 어안(fisheye) 및 핀홀(pinhole) 뷰로부터 메트릭 깊이를 추정하는 컴팩트한 순전파(feed-forward) 모델인 X-lens를 제안한다. 실시간 다운스트림 인식(perception)을 지원하기 위해 X-lens는 두 가지 핵심 구성 요소를 갖춘 기하학 인식(geometry-aware) 이종 카메라 공식화를 중심으로 설계되었다. 학습 가능한 보정(calibration) 토큰은 어안과 핀홀 투영 공간 사이의 거친 정렬을 제공하고, 교차 어텐션(cross-attention)에 주입된 야코비안 매개변수화 왜곡 바이어스는 국소 투영 변화를 모델링하고 카메라 간 일관성을 촉진하여, 단 0.04B개의 파라미터와 최대 41 FPS로 강건한 일반화를 가능하게 한다. 이 모델은 전역 메트릭 스�ale과 함께 밀집 깊이(dense depth)를 예측하며, 연산 및 최적화 복잡도를 증가시키는 보조 재구성 목표를 피한다. 이러한 카메라 간 일반화를 규모와 깊이 면에서 학습하기 위해 X-lens는 여러 공개 데이터셋과, 약 266K개의 동기화된 6뷰 프레임, 170만 개의 개별 이미지, 103개의 실내 및 실외 장면을 포함하는 새로 공개한 대규모 합성 데이터셋 OmniScene에서 학습된다. 실제 및 합성 실내·실외 데이터셋에 대한 광범위한 실험은 이종 카메라 메트릭 깊이 정확도가 우수함을 보여준다. OmniScene-Full에서 최강 기준선 대비 AbsRel을 25.4% 낮추면서 파라미터는 88.9% 더 적게 사용했으며, 기존 어안 전용 및 핀홀 전용 설정에서도 경쟁력 있는 성능을 보인다.

arXiv:2607.11588v3cs.CV

FoundationGeo: 단안 메트릭 기하학을 위한 공간적 픽셀 단위 필드 학습

FoundationGeo: Learning Spatial Pixel-Wise Fields for Monocular Metric Geometry

우리는 공간적 보정(spatial calibration)과 원칙적인 데이터 설계를 통해 상대적 예측과 메트릭 예측을 명시적으로 연결하는 2단계 프레임워크인 FoundationGeo를 제안한다. 1단계에서는 DINOv3로 초기화하고 보완적인 지역 세부 지도(local-detail supervision)를 적용하여 엄선된 1,020만 샘플 다중 도메인 코퍼스로 학습함으로써, 고충실도의 어파인 불변(affine-invariant) 기하 모델을 학습하여 선명한 경계와 강력한 도메인 간 일반화를 달성한다. 2단계에서는 메트릭 추정을 위한 경량 픽셀 단위 보정 필드를 도입하여 전역 스케일링을 넘어선다: 공간적으로 변하는 메트릭 정렬을 위한 스케일 필드와 포인트 맵 기하학에서 방향 바이어스를 완화하는 광선 방향 보정 필드를 함께 사용하여 메트릭 일관성 있는 3D 포인트 맵을 생성한다. 모델 설계를 넘어, 우리는 카메라 내부 파라미터 커버리지, 특히 학습 데이터와 테스트 데이터 간 초점 거리 분포 불일치가 제로샷 메트릭 일반화의 핵심 병목임을 확인한다: 테스트 내부 파라미터가 학습 분포 밖에 놓일 경우 성능이 급격히 저하된다. 이를 해결하기 위해 Blender 기반 데이터 엔진을 사용하여 다양한 초점 거리에 걸친 추가 학습 데이터를 합성하고, 커버리지가 부족한 초점 거리 영역을 보완하여 내부 파라미터 변화에 대한 견고성을 향상시킨다. 7개 벤치마크에 걸친 광범위한 제로샷 평가에서 FoundationGeo는 도메인 간 견고성을 크게 강화하여 다양한 도메인에서 상위권을 유지하면서 다른 방법들에서 관찰되는 급격한 도메인 간 성능 저하를 방지한다. 이러한 일관성은 최고의 전체 성능으로 이어지며, 더 무거운 베이스라인 대비 평균 5.2% 이상 성능을 능가한다.

arXiv:2606.27745v2cs.CV

파노라마 장면 이해: 왜곡 인지 엔지니어링에서 구면 고유 모델링까지의 서베이

Panoramic Scene Understanding: A Survey from Distortion-Aware Engineering to Sphere-Native Modeling

파노라마 이미지는 한 프레임에 전체 시각적 구면을 담아 일반 카메라로는 얻을 수 없는 맥락을 제공한다. 그러나 이 완전성에는 피할 수 없는 기하학적 대가가 따른다. 2-구면(2-sphere)은 평면에 충실하게 사상될 수 없으며, 모든 투영은 표준 비전 아키텍처에 도전하는 왜곡을 도입한다. 본 서베이는 투영 기반 적응과 왜곡 인지 엔지니어링에서 구면 고유 모델링으로 이어지는 파노라마 장면 이해의 발전을 추적하며, 구면 기하학에 대한 점점 깊어지는 헌신을 반영한다. 파운데이션 모델은 네 번째 계열을 이루며, 기하학 인지 토큰화(geometry-aware tokenization)는 입력 인터페이스를 적응시키면서 원근 사전학습(pre-training) 가중치를 재사용한다. 이러한 접근법들을 다섯 가지 과제 계열—밀집 예측(dense prediction), 통합 다중 과제 이해, 개방 세계(open-world) 지각, 비전-언어 추론, 동적 비디오 분석—에 걸쳐 검토한다. 과제들을 가로질러 구면 기하학으로의 동일한 전환이 반복된다. 그러나 실제로 이 분야는 원근 사전학습 백본을 재사용할 수 없어 확장되지 못한, 정확히 회전 동변(exactly rotation-equivariant)인 가장 강력한 구면 고유 연산자가 아니라, 적당한 기하학적 인식과 대규모 사전학습 모델을 결합한 호환성을 보존하는 중간 지점으로 수렴했다. 이 헌신은 고르지 않다. 밀집 예측에서 가장 깊고 동적 지각에서는 가장 얕은데, 후자에서는 방법들이 공간적으로는 구면 인지적이지만 시간적으로는 평면적이다. 파운데이션 모델 적응은 파노라마 깊이 추정에서 가장 빠르게 진전했으며, 레이아웃, 표면 법선(surface-normal), 비디오 수준 이해는 여전히 대부분 미탐색 상태로 남아 있다. 구면 데이터로 사전학습된 파노라마 파운데이션 모델은 아직 없다. 다섯 가지 평가 공백을 식별한다: 구면 면적 가중(metric), 이음(seam) 일관성 테스트, 극지역(polar) 견고성 계층화, 교차 투영 일반화, 표준화된 개방 세계 프로토콜. 범용 파노라마 지능을 향한 여섯 가지 로드맵으로 마무리한다.

arXiv:2607.13624v1cs.RO

언어에서 내비게이션 목표로: RGB-D 인식을 이용한 이동 로봇 의미 내비게이션을 위한 비전-언어 접근법

From Language to Navigation Goals: A Vision-Language Approach for Semantic Navigation of Mobile Robots Using RGB-D Perception

자연어 상호작용은 비전문 사용자가 로봇 플랫폼과 소통하는 직관적인 방법을 제공한다. 그러나 사용자 요청을 실행 가능한 내비게이션 동작으로 변환하는 것은 여전히 어려운 과제이며, 언어 이해, 환경 인식, 자율 내비게이션의 통합을 필요로 한다. 본 연구는 자연어로 사용자 요청을 해석하여 로봇을 목적지로 이동시키고 자율적으로 해당 목적지까지 내비게이션할 수 있게 하는 언어 기반 내비게이션 프레임워크를 제시한다. 이 프레임워크는 자연어 지시를 내비게이션 동작으로 변환하기 위해 협력하는 모듈형 ROS 2 구성 요소로 이루어져 있다. 환경 내 목표를 지칭하는 자연어 요청(예: "go to the mail box")이 주어지면, 시스템은 참조된 객체를 식별하고 RGB-D 데이터를 사용하여 그 위치를 추정한 뒤 내비게이션 목표를 생성하며, 이는 ROS 2 Nav2 내비게이션 스택을 통해 실행된다. ROS 2 기반 구현은 해당 토픽과 서비스의 설정만으로 다양한 로봇 플랫폼에 이식성을 제공한다. 시스템은 TurtleBot3 Waffle과 RealSense 카메라를 탑재한 Unitree Go2 로봇을 사용하여 시뮬레이션과 실제 환경 시나리오 모두에서 평가된다. 실험 결과, 프레임워크가 직접 명령과 문맥적 요청을 모두 성공적으로 해석하고, 의미 있는 자연어 피드백을 생성하며, 원하는 목표로 내비게이션함을 보여준다. 이러한 결과는 의미 인식과 자율 내비게이션을 결합하여 직관적인 인간-로봇 상호작용 패러다임을 제공하는 것의 실현 가능성을 입증한다. 코드는 논문 채택 시 오픈 소스로 공개될 예정이다.

arXiv:2607.11928v1cs.LG

장거리 단일 촬영 Fringe Projection Profilometry에서 형상 선행 지름길 보정

Repairing Shape-Prior Shortcuts in Long-Range Single-Shot Fringe Projection Profilometry

깊이를 직접 회귀하는 단일 촬영 fringe projection profilometry(FPP) 네트워크는 형상 선행(shape-prior) 지름길을 이용할 수 있으며, fringe 위상이 아니라 객체 경계로부터 깊이를 복원한다. 사실적인(photorealistic) 합성 벤치마크(15,600개 fringe 이미지, 1.5–2.1 m 거리에서 50개 객체)에서, 최고의 이러한 UNet 기준선은 14.54 mm 객체 평균 절대 오차(MAE)에서 정체되며, 더 많은 데이터나 더 큰 용량도 지름길을 제거하지 못하는데, 이는 둘 다 옵티마이저가 탐색하는 가설 공간(hypothesis space)을 바꾸지 않기 때문이다. PhiCalNet을 제안한다. 이는 래핑된 위상(wrapped-phase) 표현 $(\sinφ, \cosφ)$을 출력하고, 고정된 미분 가능한 보정(calibration) 층을 통해 깊이에 매핑하여, 손실 페널티가 아니라 아키텍처적으로 형상 선행 해를 제거한다. 단일 촬영 매핑은 fringe order 없이 비단사(non-injective)이므로, PhiCalNet은 fringe order를 보조 입력으로 받으며, 민감도 분석은 이 가정이 현실적인 디코딩 오차를 허용함을 보여준다. 동일한 물리를 소프트 페널티로 사용한 물리 정보(PINN) 기준선은 이득을 주지 않아, 아키텍처 선택이 작용 요인임을 분리해 보여준다. PhiCalNet은 객체 MAE를 3.3배 줄여 4.46 mm에 이르게 하며, 잔차는 $\pmπ$ 래핑 불연속(wrap discontinuity)에서 픽셀의 0.103%에 국한되고, 3프레임 확장은 1.16 mm에 달한다. 두 가지 검증이 일치한다: 해석 가능성(interpretability)은 위상(phase)을 가장 디코딩 가능한 내부 특징으로 만들며, 우리가 아는 한 FPP에 대한 최초인 픽셀 단위 conformal 불확실성 정량화(uncertainty quantification)는 동일한 불연속 지점에서 오류를 국한하며, 스냅샷 불일치(snapshot disagreement)로 상위 5% 픽셀을 거부하면 기준선의 3.5%가 아닌 64%만큼 RMSE(root-mean-square error)를 줄인다.

arXiv:2607.12450v1cs.CV

RGB를 비전의 언어로

Let RGB Be the Language of Vision

본 연구는 비전 모델에 대한 통합적 공식화를 제안한다. 자연 이미지를 넘어 마스크, 깊이 맵, 기타 구조화된 시각 신호 등 다양한 형태의 시각 정보를 모두 RGB 이미지로 표현하고, 일반적인 시각 과제들을 공통의 RGB-to-RGB 이미지 편집 문제로 변환한다. 이 패러다임에서 서로 다른 유형의 시각 정보는 자연 이미지와 동일한 인코딩·디코딩 아키텍처와 파라미터를 내부적으로 공유하며, 통합된 시각 인터페이스를 통해 단일 모델이 과제 간 전이를 수행할 수 있어, 언어 모델이 텍스트 위에서 동작하는 방식과 유사하다. 이 공식화를 RGB In and RGB Out(RINO)이라 부른다. RINO는 과제별 미세조정 없이 일반적인 이미지 편집 백본 위에 구축되었으며, 출력을 RGB로 통합하는 분할(segmentation)과 깊이 추정(depth estimation) 같은 밀집 이해(dense understanding) 과제와, 입력을 RGB로 통합하는 포즈-이미지 생성(pose-to-image generation) 같은 밀집 조건부 생성 과제 모두에서 견고하고 경쟁력 있는 제로샷 성능을 보인다. 본 연구가 다양한 시각 과제를 공유 시각 언어로 표현·해석·해결할 수 있는 일반적인 통합 비전-언어 시스템을 향한 유용한 통찰을 제공하기를 바란다. 코드는 https://github.com/yangtiming/RINO 에서 확인할 수 있다.

arXiv:2607.12433v1cs.CV

ARDepth: 점진적 시각 조건화를 이용한 자기회귀 단안 깊이 추정

ARDepth: Auto-regressive Monocular Depth Estimation with Progressive Visual Conditioning

확산 모델(diffusion model)은 최근 단안 깊이 추정(MDE)에서 주류 패러다임이 되었다. 그러나 이들은 반복적 디노이징(denoising)을 통해 깊이를 전역적으로 매끄러운 장(field)으로 복원할 수 있다고 암묵적으로 가정하며, 이는 장면 기하의 조각적(piecewise)이고 스케일 의존적인 구조를 명시적으로 반영하지 않는다. 실제로 기하 구조는 공간 스케일에 걸쳐 점진적으로 나타나며, 거친 레이아웃, 표면, 경계가 계층적으로 구성된다. 이 관찰에 영감을 받아, 우리는 깊이 추정을 구조화된 자기회귀 생성으로 공식화하는 ARDepth를 제안한다. 전역 정제(global refinement)를 통해 깊이를 복원하는 대신, ARDepth는 공간 해상도가 증가함에 따라 깊이 표현을 점진적으로 구축한다. 이 생성 과정을 지원하기 위해, 각 생성 단계에서 다중 스케일 시각 특징을 주입하는 스케일-점진적 조건화(SPC)와 전역 구조적 일관성을 향상시키는 장면 수준 의미 사전정보(semantic prior)를 제공하는 의미 인식 가이던스(SAG)를 도입한다. 이러한 설계들은 함께 모델이 일관된 전역 기하를 유지하면서 세밀한 국소 세부 사항을 포착할 수 있게 한다. 실험 결과는 우리 접근법이 강한 성능을 달성하고 스케일에 걸쳐 구조적으로 일관된 깊이 예측을 생성함을 보여주며, 기하 모델링을 위한 유망한 대안 패러다임으로서 자기회귀 생성을 검증한다.

arXiv:2607.12419v1cs.CV

DeGuNet: Depth-Guided Ultra-Compact Backbones for Efficient LiDAR-Camera 3D Detection

페이퍼 제목과 초록을 번역 규칙에 맞춰 정리했습니다. {"title_ko": "DeGuNet: 효율적인 LiDAR-카메라 3D 객체 검출을 위한 깊이 유도 초경량 백본", "abstract_ko": "자율주행 인식에서 LiDAR와 카메라 모달리티의 융합은 3D 객체 검출의 지배적인 패러다임이 되었다. 그러나 현재의 다중 모달리티 프레임워크는 2D 의미론적 태스크로 사전학습된 대규모 시각 백본에 크게 의존한다. 이러한 의존은 상당한 매개변수 중복과 구조적 불일치를 초래하는데, 2D 사전지식(prior)은 Bird's-Eye-View(BEV) 기하학에 필요한 LiDAR 투영의 극심한 희소성을 다루기에 부적합하기 때문이다. 이를 해결하기 위해, 우리는 깊이 유도 표현 학습을 위해 명시적으로 설계된 초경량 및 플러그 앤 플레이(plug-and-play) 이미지 백본인 DeGuNet을 제안한다. 희소성 인식 특징 추출 메커니즘을 통합함으로써, DeGuNet은 다중 뷰 이미지를 비구조적 LiDAR 깊이와 효과적으로 정렬하면서 유효하지 않은 영역의 오염을 엄격히 방지한다. nuScenes 데이터셋에 대한 광범위한 실험은 DeGuNet의 폭넓은 플러그 앤 플레이 적용성과 우수한 효율성을 입증한다. 기존 베이스라인에 통합했을 때, DeGuNet은 구조적 중복을 근본적으로 제거하여 GPU 메모리 사용량을 최대 66.5% 줄이고 1.16배의 추론 속도 향상을 달성한다. 동시에 DeGuNet은 최대 6.20의 절대 mAP 향상을 제공하여, 매개변수 효율적인 다중 모달리티 3D 인식을 위한 새로운 패러다임을 제시한다."}

arXiv:2607.12319v1cs.CV

DM-KG: 거리뷰 영상에서 비전-언어 모델의 공간 인지 능력을 향상시키는 새로운 방법

DM-KG: A Novel Method for Boosting Spatial Cognition of Vision-Language Models in Street View Imagery

비전-언어 모델(VLM)이 지리공간 질의응답과 시각적 장면 이해에 점점 더 배치됨에 따라, 복잡한 논리적 추론을 위해 거리뷰 영상에서의 공간 인지 능력을 향상시키는 것이 핵심 연구 과제로 부상했다. 그러나 기존 VLM은 실제 거리뷰 장면에서 물체의 위치, 거리, 방향을 인지할 때 "공간 의미 환각(spatial semantic hallucinations)"을 자주 겪는다. 또한 이러한 오류는 추적 및 보정에도 종종 잘 대응되지 않아, 지리공간 작업에서의 실용적 배치에 심각한 병목이 된다. 이러한 긴급한 과제를 해결하기 위해, 본 연구는 거리뷰 영상을 위한 구조적으로 기반을 둔 공간 표현 프레임워크인 DM-KG(Direction-Metric Knowledge Graph)를 제안한다. 단일 2D 영상에서 개체 간의 방향적 및 거리(metric) 관계를 명시적으로 추출함으로써, 이 프레임워크는 구조화된 지식 그래프를 통해 VLM의 공간 추론 정확도를 향상시킨다. 구체적으로, panoptic segmentation과 metric depth estimation을 통합하여 개체 수준의 3D 공간 좌표를 견고하게 계산한다. 이후 개체 쌍의 시계 방위각(clock azimuths)과 유클리드 거리를 JSON 형식의 지식 그래프로 인코딩하고, 이를 VLM에 공간 추론을 안내하는 명시적 기하학적 사전(prior)으로 주입한다. 공개 공간 질의응답(QA) 벤치마크에서의 실험 결과, DM-KG는 거리 추정의 평균 절대 오차(MAE)를 31.1% 줄이고 방향 판단의 평균 각도 오차를 65.8% 줄였으며, 동시에 높은 QA 성공률을 유지함을 보여준다. 완전한 증강 추론 파이프라인을 구축함으로써, 본 연구는 거리뷰 시나리오에서 VLM의 공간 인지 능력을 크게 향상시키며, 개방 환경에서의 지리 시각 질의응답(GeoVQA)을 위한 유연하고 일반화 가능하며 해석 가능한 프레임워크를 제공한다.