PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.11588v3cs.CV

FoundationGeo: 단안 메트릭 기하학을 위한 공간적 픽셀 단위 필드 학습

FoundationGeo: Learning Spatial Pixel-Wise Fields for Monocular Metric Geometry

우리는 공간적 보정(spatial calibration)과 원칙적인 데이터 설계를 통해 상대적 예측과 메트릭 예측을 명시적으로 연결하는 2단계 프레임워크인 FoundationGeo를 제안한다. 1단계에서는 DINOv3로 초기화하고 보완적인 지역 세부 지도(local-detail supervision)를 적용하여 엄선된 1,020만 샘플 다중 도메인 코퍼스로 학습함으로써, 고충실도의 어파인 불변(affine-invariant) 기하 모델을 학습하여 선명한 경계와 강력한 도메인 간 일반화를 달성한다. 2단계에서는 메트릭 추정을 위한 경량 픽셀 단위 보정 필드를 도입하여 전역 스케일링을 넘어선다: 공간적으로 변하는 메트릭 정렬을 위한 스케일 필드와 포인트 맵 기하학에서 방향 바이어스를 완화하는 광선 방향 보정 필드를 함께 사용하여 메트릭 일관성 있는 3D 포인트 맵을 생성한다. 모델 설계를 넘어, 우리는 카메라 내부 파라미터 커버리지, 특히 학습 데이터와 테스트 데이터 간 초점 거리 분포 불일치가 제로샷 메트릭 일반화의 핵심 병목임을 확인한다: 테스트 내부 파라미터가 학습 분포 밖에 놓일 경우 성능이 급격히 저하된다. 이를 해결하기 위해 Blender 기반 데이터 엔진을 사용하여 다양한 초점 거리에 걸친 추가 학습 데이터를 합성하고, 커버리지가 부족한 초점 거리 영역을 보완하여 내부 파라미터 변화에 대한 견고성을 향상시킨다. 7개 벤치마크에 걸친 광범위한 제로샷 평가에서 FoundationGeo는 도메인 간 견고성을 크게 강화하여 다양한 도메인에서 상위권을 유지하면서 다른 방법들에서 관찰되는 급격한 도메인 간 성능 저하를 방지한다. 이러한 일관성은 최고의 전체 성능으로 이어지며, 더 무거운 베이스라인 대비 평균 5.2% 이상 성능을 능가한다.

arXiv:2607.09284v1cs.CV

일반화된 스테레오 매칭을 위한 단안 깊이 임베딩 재고찰

Rethinking Monocular Depth Embedding for Generalized Stereo Matching

일반적으로 단안(monocular) 방법은 풍부한 맥락적 사전 정보를 포착하지만 기하학적 정밀도(precision)가 부족한 반면, 스테레오 방법은 기하학적으로 정확하지만 텍스처가 없거나 가려진 영역에서 어려움을 겪는다. 여러 접근 방식이 단안 깊이를 스테레오 정보와 정렬함으로써 스테레오 매칭(SM)의 일반화를 향상시키기 위해 양쪽의 강점을 결합하려 시도한다. 그러나 안정적이고 일반화 가능한 정렬을 구축하는 것은 어렵고, 신뢰할 수 없는 단안 단서는 성능을 크게 저하시킬 수 있다. 본 논문은 단안 깊이 임베딩(embedding)을 재고찰한다. 첫째, 단축 학습(shortcut learning)을 방지하기 위해 네트워크 너비를 확장하는 대신 브랜치 결합을 줄인다. 둘째, 단안 깊이 오류에 대한 허용 오차를 높이기 위해 단안 깊이로부터 강한 제약 대신 소프트 제약을 구성한다. 이러한 원칙에 기반하여, 특징(feature) 추출과 GRU 반복 모두에 단안 정보를 통합한다. 구체적으로, 단안 깊이 맵을 RGB 이미지와 융합하여 깊이 경계 인식을 선명하게 하고 매칭 모호성을 억제한다. 융합된 이미지는 이후 특징 추출에 사용되어, 맥락적 특징이 전역 기하학적 정보를 인코딩할 수 있게 한다. 나아가, 단안 깊이 그래디언트(gradient) 특징을 활용하여 시차 업데이트를 안내함으로써 국소 진동에서 벗어나도록 돕는다. 마지막으로, 데이터 증강(data augmentation)으로 인한 지도 시차의 경계 흐림 문제를 해결하기 위해 엣지 신뢰도 추정 방법과 엣지 인식 손실(loss) 함수를 제안한다. 우리의 방법은 다수의 표준 벤치마크에서 최첨단(SOTA) 성능을 달성하며, 정확도를 향상시키는 동시에 우수한 일반화 능력을 보여준다. 코드는 https://github.com/linliboabc-maker/stereo-matching-digital 에서 확인할 수 있다.

arXiv:2607.07885v1cs.RO

비정형 환경에서 로봇을 위한 사전학습 비전 모델 기반 충돌 시간(TTC) 동적 장애물 회피

Time-to-Collision Based Dynamic Obstacle Avoidance Using Pretrained Vision Models for Robots in Unstructured Environments

UniDepth 기반 단안 깊이 추정과 SuperPoint/SuperGlue 키포인트 대응을 결합해 각 키포인트의 충돌 시간(TTC)을 기하학적으로 계산하고, 최소 TTC 키포인트로부터 로봇을 회피시키는 해석 가능한 동적 장애물 회피 방법을 제안한다. M3ED 데이터셋 실험에서 모델 학습 없이 74초 분량의 데이터만으로 하이퍼파라미터를 조정하면서도 22개 장애물 중 20개를 탐지하고, 참양성의 84%에서 올바른 회피 방향을 생성하는 높은 데이터 효율성을 달성했다.

arXiv:2607.04101v1cs.CV

The Multipath Blind Spot: $K$-Agnostic Robust Calibration for Sparse-Anchor Metric Depth from Frozen Foundations

단안 깊이 기반 모델(monocular depth foundation)은 도메인 일반적 상대적 깊이를 예측하지만 절대적 스케일이 없으며, 거리 센서의 소수 희소 메트릭 앵커를 활용해 메트릭 깊이로 보정하는 방식은 메트릭 지도 학습의 매력적인 대안이 된다. 그러나 기존 희소 앵커 보정 방법들은 앵커가 깨끗하다고 가정하는 반면, 실제 센서는 단순히 누락되는 것이 아니라 잘못된 값을 갖는 이상값—비행 시간 다중경로(time-of-flight multipath), 혼합 픽셀(mixed pixels)—을 생성한다. 우리는 기존의 CFA 기반 잔차 보정 방식이 이러한 이상값 하에서 무너지며, 공개 배포된 가장 강력한 방법인 VI-Depth가 구조적인 다중경로 사각지대를 가짐을 보인다: 누락된 앵커에는 강건하지만, 앵커가 존재하되 잘못된 경우 4개 데이터셋 중 3개에서 보호되지 않은 기준선보다 뒤처진다. 우리는 보정 헤드에 대한 단 한 번의 호출 전에, 기반 모델 일관성—Theil–Sen 적합 및 기반 모델 자체의 상대적 깊이 순서에 대한 중앙값 절대 편차(median-absolute-deviation) 검정—으로 앵커를 걸러내는 매개변수 없는 추론 시간 래퍼인 다중경로 강건 앵커 보정(Multipath-Robust Anchor Calibration, MRAC)을 제안한다. MRAC는 학습된 매개변수를 추가하지 않고, CPU에서 약 50μs에 선택 과정을 실행하며, 하나의 체크포인트에서 $K \in [5, 200]$의 앵커 예산을 처리한다. 동일 백본, 동일 아키텍처 대조군이 포함된 320셀 벤치마크에서, MRAC는 모든 4가지 이상값 계열에 걸쳐 동일 백본 셀의 84%에서 엄격하게 우세하며, VI-Depth 대비 모든 12개의 손상된 다중경로 셀과 모든 16개의 KITTI 셀에서 승리하고, 재학습 없이 KITTI 다중경로 AbsRel을 3.2배(0.489에서 0.151로) 감소시킨다.

arXiv:2607.01900v1cs.CV

FoundDP: 듀얼픽셀 깊이 추정에서의 약한 시차 관측 가능성 재고

FoundDP: Revisiting Weak Disparity Observability in Dual-Pixel Depth Estimation

듀얼픽셀(DP) 이미징의 극소 기준선으로 인한 약한 시차 관측 가능성 문제를 해결하기 위해, FoundDP는 DP 기반 메트릭 깊이와 단안 깊이 기반 모델(Depth Anything V2 등)의 전역 구조적 사전 정보를 통합하는 프레임워크를 제안한다. ViT 특징 정렬을 통해 DP 피사계 심도 흐림으로 인한 표현 열화를 완화하고, 합성 및 실세계 DP 벤치마크에서 구조적 충실도와 메트릭 정확도 모두 기존 방법 대비 우수한 성능을 달성했다.

arXiv:2508.17916v2cs.CV

EndoUFM: 내시경 영상의 단안 깊이 추정을 위한 파운데이션 모델 활용

EndoUFM: Utilizing Foundation Models for Monocular depth estimation of endoscopic images

EndoUFM은 내시경 영상의 비지도 단안 깊이 추정을 위해 Depth Anything Model과 MedSAM 이중 파운데이션 모델(foundation model)의 사전학습 prior를 결합하고, RVLoRA 적응형 파인튜닝(fine-tuning), Res-DSC, 마스크 유도 평활화 손실로 도메인 격차와 조명·질감 변화에 대응한다. SCARED, Hamlyn, SERV-CT, EndoNeRF에서 효율적인 모델 크기를 유지하면서 최신(state-of-the-art) 성능을 달성해 최소침습 수술의 3D 재구성과 AR·내비게이션에 기여한다.

arXiv:2606.12368v2cs.CV

DepthMaster: 원근 및 파노라마 이미지를 위한 통합 단안 깊이 추정

DepthMaster: Unified Monocular Depth Estimation for Perspective and Panoramic Images

단안 깊이 추정은 상당한 진전을 이루었지만, 좁은 시야(FoV) 원근 영상과 $360^\circ$ 파노라마 모두에 대해 일반화된 메트릭 깊이 추정을 달성하는 것은 여전히 해결되지 않은 과제로 남아 있다. 기존 방법들은 종종 특정 카메라 유형에 맞춰 설계되어 있으며, 다양한 환경에 일반화되는 정확한 메트릭 깊이를 생성하는 데 어려움을 겪는다. 이러한 한계는 두 가지 핵심 과제에서 비롯된다: 원근 카메라와 파노라마 카메라 간의 본질적인 기하학적 불일치, 그리고 메트릭 어노테이션이 포함된 파노라마 학습 데이터의 부족. 본 연구에서는 통합 메트릭 깊이 추정 프레임워크인 DepthMaster를 제안한다. 구면 왜곡을 학습하기 위한 전용 네트워크를 사용하는 대신, 파노라마 이미지를 겹치는 원근 패치로 분해하여 문제를 재정의한다. 핵심적으로, 경계 처리를 위해 임의적인 구조 수정에 의존하는 기존 투영 기반 방법들과는 달리, 새로운 대응 일관성 손실(Correspondence Consistency Loss, CCL)을 도입하고 가상 투영 카메라를 기하학적 사전정보로 주입함으로써, 전용 연산자 없이 패치를 매끄럽게 이어 붙일 수 있으며 백본을 표준 트랜스포머 설계와 대체로 호환되게 유지할 수 있다. 이 전략은 또한 모든 입력을 표준 원근 표현으로 통일함으로써 기하학적 차이를 해소하고, 방대한 원근 데이터셋에서 강력한 메트릭 사전정보를 직접 활용함으로써 데이터 부족을 효과적으로 우회한다. 파노라마 데이터셋 하나만 포함된 혼합 데이터셋으로 학습한 DepthMaster는 13개의 다양한 데이터셋에서 최첨단 제로샷 성능을 달성하며, 범용 방법뿐 아니라 원근 및 파노라마 영역 모두에서 선도적인 전문 모델을 능가한다.