PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24850v2cs.CV

Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation

다중 뷰 이미지로부터 정확한 기하를 계산하는 것은 컴퓨터 비전(CV)의 근본적인 문제이다. 최근 feed-forward(FF) 모델은 3D 기하와 카메라 파라미터를 공동으로 추정하지만, 정답(ground-truth) 카메라 파라미터가 주어져도 재구성 모호성으로 인한 기하 왜곡을 일반적으로 겪는다. 본 논문에서는 알려진 카메라 파라미터를 갖는 다중 뷰 스테레오(MVS) 문제를 연구하고, 기존 MVS와 FF 방법을 잇는 새로운 접근법을 제안한다. MVS를 단일 기준 뷰에 대해서만 깊이를 예측하는 시퀀스-투-원(sequence-to-one) 매핑으로 두는 대신, FF 모델과 유사하게 모든 입력 뷰에 대한 기하를 공동으로 예측하는 시퀀스-투-시퀀스 과제로 재공식화한다. 카메라로 유도된 사전지식(prior)을 명시적으로 활용하는 두 구성 요소를 갖춘 전역 트랜스포머 기반 아키텍처를 도입한다: 카메라 파라미터를 이미지 패치 토큰에 주입하여 트랜스포머를 camera-aware하게 만드는 ray-map 임베딩(embedding), 그리고 기존의 뷰별 cost volume을 대체하여 모든 뷰에 걸쳐 3D 구조를 공동으로 포착하는 통합 전역 cost volume. 여러 공개 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 MVS 및 FF 재구성 기준선을 모두 능가하는 최신(state-of-the-art) 성능을 달성함을 보여준다.

arXiv:2606.17564v1cs.CV

다중 뷰 위성 영상에서 파운데이션 모델 특징을 위한 기하학적 일관성 프로토콜

Geometric Consistency Protocol for Foundation Model Features in Multi-View Satellite Imagery

원격 탐사(remote sensing)에서 강건한 벤치마킹을 위해 표준화된 평가 프로토콜은 필수적이며, 특히 파운데이션 모델 특징이 다양한 센서와 복잡한 영상 기하학(imaging geometry)에 걸쳐 점점 더 전이됨에 따라 그 중요성이 커지고 있습니다. 위성 다중 뷰 재구성에서 제약 없는 2D 전역 매칭에 의존하는 기존 평가 방식은 종종 오도하는 경향이 있습니다. 유리 함수 모델(Rational Function Model, RFM)과 그 유리 다항식 계수(Rational Polynomial Coefficients, RPC)는 곡선형이고 높이 의존적인 에피폴라 기하학(epipolar geometry)을 결정하며, 이는 평평한 2D 탐색 공간을 물리적으로 비일관적이게 만듭니다. 본 연구에서는 RPC 프레임워크에 맞춰진 기하학적 충실성을 가지고 재현 가능한 프로토콜을 제안합니다. 우리의 접근 방식은 RPC 투영 3D 일관성 메트릭과 기하학적 제약이 있는 밀집 매칭(dense matching) 프록시를 통합하여, 물리적으로 타당한 탐색 매니폴드(manifold) 하에서 유사도 응답이 국소적이고 유일한지를 구체적으로 평가합니다. 우리의 통합 보고 전략을 통한 핵심 발견은 의미적 일치와 기하학적 국소화의 분리(decoupling)입니다. 즉, 투영된 3D 점에서 높은 교차 뷰 유사도가 실제 추론(inference)에서 신뢰할 수 있는 매칭 가능성을 보장하지는 않습니다. 우리의 벤치마크는 기하학적 제약을 통합하는 것이 위성 영상 내 문제 정의의 근간이 됨을 입증합니다. 또한, 이 RPC 일관 평가 하에서 최첨단 2D 백본(backbone)들이 전문화된 3D 인식 모델(model)에 비해 여전히 현저히 경쟁력이 있음을 보여줍니다.