PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.19693v2cs.CV

RIPE++: 포지티브 쌍만 활용한 강화학습 기반 특징점 학습

RIPE++: Reinforced Keypoint Learning from Positive Pairs Only

희소 특징점(sparse keypoint) 추출 및 매칭은 Structure-from-Motion(SfM), 시각적 SLAM(visual SLAM), 증강 현실(AR), 의료 영상 정합 등 기하학적 컴퓨터 비전의 핵심 과제를 뒷받침합니다. 그러나 강건한 지역 특징(local feature) 표현을 학습하려면 일반적으로 정확한 카메라 포즈나 깊이(depth) 지도 신호가 필요한데, 이는 실제 환경에서 얻기 어려운 경우가 많습니다. 최근 두 이미지가 동일한 장면을 보여주는지 여부의 정보만 필요로 하는 강화학습(RL)이 유망한 대안으로 떠올랐습니다. 하지만 RIPE와 같은 기존 강화학습 방식은 조잡한 이진 보상(binary reward)과 정교하게 구성된 네거티브 학습 쌍에 의존하므로, 학습 안정성과 기술자(descriptor)의 변별력이 제한됩니다. 본 논문에서는 강화학습 기반 특징점 학습을 재검토하고 기하학적 일관성 신호를 완전히 활용하는 보상을 제안하며, 네거티브 쌍과의 대조 없이 단일 포지티브 쌍만으로 보상과 페널티를 모두 도출합니다. 이러한 더 풍부한 신호는 포지티브 이미지 쌍만으로도 변별력 있는 검출기와 기술자를 학습하기에 충분한 지도 대조 신호를 제공하여, 극도로 제한된 지도 조건에서도 표현 학습을 가능하게 합니다. 나아가 LightGlue를 적용하여 동일한 강화학습 목표를 매칭 단계까지 확장할 수 있음을 보여주며, MegaDepth1500에서 AUC@5를 56.58에서 59.65로 향상시키고 시각적 중첩이 부분적으로 존재하는 이미지 쌍으로부터 전체 희소 매칭 파이프라인의 약지도 학습(weakly-supervised training)을 가능하게 합니다. 널리 사용되는 벤치마크에서 본 접근법을 검증하여 완전 지도 학습(fully-supervised) 방식과 비교해도 경쟁력 있는 결과를 입증합니다. 또한 카메라 포즈를 얻기 어렵고 표준 SfM 파이프라인이 흔히 실패하는 저텍스처 의료 비디오 시퀀스에서도 본 방법이 학습될 수 있음을 추가로 보여줍니다. 코드와 데이터는 https://github.com/fraunhoferhhi/RIPEpp 에서 제공됩니다.

arXiv:2610.03167v1cs.CV

교차 모달 평면 영상 정합을 위한 기하학 정렬 의미 매칭

Geometry-Aligned Semantic Matching for Cross-Modal Planar Image Registration

교차 모달(cross-modal) 영상 매칭은 평면 정합을 위해 모달리티 전반에서 안정적이고 정확한 기하학적 대응 관계를 구축합니다. 기존의 의미론적 표현은 모달리티 간 일관성을 제공하지만, 의미적 유사성이 반드시 기하학적 대응 관계를 의미하지는 않습니다. 반면 미세한 CNN 특징(feature)은 정확한 국소적 세부 정보를 제공하지만 안정적인 미세 조정을 위한 전역적인 교차 모달 의미 가이던스가 부족합니다. 이러한 문제를 해결하기 위해, 먼저 기하학적으로 일관된 의미론적 표현을 구축한 다음 미세 국소화 과정에서 대응 관계 추정에 대한 지배적인 역할을 보존하는 CDPM을 제안합니다. 구체적으로, 기하학적으로 일관된 교차 모달 패치 쌍을 사용하여 DINOv3를 점진적으로 적응시킴으로써, 특징 유사성이 실제 교차 모달 공간 대응 관계를 더 잘 반영하도록 합니다. 그런 다음 DINO 중심 특징 피라미드(DINO-Centric Feature Pyramid)를 구성하여 다중 스케일 DINO 표현이 안정적인 교차 모달 대응 관계를 유지하도록 하는 동시에, 경량 CNN 브랜치가 정밀한 국소 미세 조정을 위한 보조 구조 세부 정보를 제공하도록 합니다. 세 가지 교차 모달 데이터셋(dataset)에 대한 광범위한 실험을 통해 CDPM의 우수한 성능을 입증합니다. VIS-IR에서 고밀도 매처인 RoMa와 비교했을 때, CDPM은 AUC@3/5/10/20을 각각 7.36, 13.40, 13.75, 10.42%포인트 향상시키고 mACE를 5.83픽셀에서 2.78픽셀로 감소시킵니다. 또한 45.6% 적은 FLOPs를 사용하면서도 모든 지표에서 RoMa v2를 능가합니다. 온라인 데모와 데이터셋이 제공되며, 코드는 프로젝트 페이지(https://warren-wzw.github.io/CDPM/)에 공개될 예정입니다.

arXiv:2609.24560v1cs.CV

pCLE 모자이크 정합을 위한 변환 모델 평가

Evaluating Transformation Models for pCLE Mosaic Registration

공초점 레이저 내시현미경(Confocal Laser Endomicroscopy, CLE)은 실시간으로 세포 수준 해상도의 광학 생검(optical biopsy)을 제공하지만 시야(field of view)가 좁으며, 이미지 모자이킹(image mosaicing)을 통해 해부학적 맥락(anatomical context)을 제공하도록 시야를 확장할 수 있다. 라인별 획득(line-by-line acquisition), 프로브 움직임, 프로브-조직 상호작용으로 인해 프레임 정렬(frame alignment)은 일반적으로 정확도를 정량화하기 어려운 비선형 변환(non-linear transformation)을 필요로 한다: 유연한 변환 모델은 강도 특징(intensity feature)과 노이즈에 과적합될 수 있어, 정규화 상호상관(Normalized Cross-Correlation, NCC)과 같은 외형 기반(appearance-based) 지표는 실제 기하학적 정확도의 향상 없이도 개선될 수 있다. 이에 우리는 4명의 환자로부터 얻은 14개의 pCLE 시퀀스에 걸쳐 132개의 프레임 쌍으로 구성되고 랜드마크(landmark) 대응 관계가 수동으로 주석 처리된 데이터셋을 구축하여, 목표 정합 오차(Target Registration Error, TRE)가 NCC를 보완하는 기하학적으로 근거 있는 지표로 사용될 수 있도록 하였다. 우리는 이동(translation)부터 박판 스플라인(Thin Plate Spline, TPS)에 이르기까지 변환 모델의 자유도(degrees of freedom)를 점진적으로 늘렸을 때의 효과와, 고전적 방법(Shi-Tomasi, Lucas-Kanade)과 학습 기반 방법(SuperPoint, SuperGlue, LightGlue, LoFTR, RoMa)을 아우르는 여섯 가지 특징 매칭(feature-matching) 백엔드의 효과를 평가한다. 이동 모델과 강체(rigid) 모델은 조직 변형(tissue deformation) 상황에서 불충분한 것으로 나타났으며, 무작위 샘플링(random sampling)을 사용한 TPS가 평가된 구성들 중 랜드마크 기반 정렬에서 가장 우수한 성능을 달성하였다. 미세조정 없이 사용된 학습 기반 매처들 중에서는 RoMa만이 다른 방법들에 비해 견고하지만 다소 미미한 우위를 보였다. 시퀀스 수준에서는 쌍별(pairwise) 정합 품질이 최종 모자이크 품질을 신뢰성 있게 예측하지 못하는 것으로 나타나, 모자이크 품질은 쌍별 지표로부터 추론하기보다는 직접 평가되어야 한다.

arXiv:2607.10082v2cs.CV

이중 단계 증류를 통한 비제약 이벤트-이미지 특징 매칭의 레이블 없는 타겟 도메인 적응

Label-Free Target-Domain Adaptation for Unconstrained Event-Image Feature Matching via Dual-Stage Distillation

이벤트 데이터와 이미지 데이터 간의 픽셀 수준 대응 관계 구축은 다중 센서 시스템의 기본적인 과제입니다. 그러나 기존의 교차 모달 매칭 방법들은 매칭 레이블이나 엄격하게 정렬된 하드웨어에 대한 의존성으로 인해 크게 제한되며, 매칭 정답 데이터와 사전 센서 관계 정보가 모두 부재한 레이블 없는 비제약 실환경 시나리오에는 적용이 어렵습니다. 이를 해결하기 위해, 우리는 새로운 2단계 학습 패러다임을 제안합니다. 첫째, 대규모 데이터를 활용하여 레이블 비의존적 증류 사전학습을 수행하며, 분포 기반 손실과 대조 손실로 최적화 목표를 개선하여 높은 일반화 능력을 갖춘 표현을 학습합니다. 둘째, 레이블 없는 비제약 다운스트림 데이터를 처리하기 위해 에피폴라 가이드 자기 증류 프레임워크를 도입합니다. 일관성 검증을 활용하여 강인한 매칭을 선별하고 외부 에피폴라 사전 정보로부터 도출된 기하학적 신뢰도를 통합함으로써, 우리의 모델은 어떠한 지도 없이도 타겟 도메인에서 직접적으로 효과적인 자기 진화가 가능합니다. 또한, 서로 다른 내부 파라미터와 해상도를 가진 물리적으로 분리된 카메라를 특징으로 하는 TUM-VIE 기반의 엄격한 교차 모달 평가 벤치마크를 소개합니다. 광범위한 실험을 통해 우리가 제안한 방법이 MVSEC과 TUM-VIE 자세 추정 태스크 모두에서 최첨단 성능을 달성함을 입증합니다. 소스 코드와 벤치마크는 https://github.com/ZhonghuaYi/nexus2-official 에서 공개될 예정입니다.

arXiv:2607.13449v1cs.CV

DreamSat-Pose: 단일 시점 3D 재구성 및 학습된 2D-3D 특징 매칭을 통한 우주선 자세 추정

DreamSat-Pose: Spacecraft Pose Estimation from Single-View 3D Reconstructions and Learned 2D-3D Feature Matching

6-DoF 자세 추정은 자율 접근 및 근접 운용에서 중요한 과제이다. 목표 대상이 알려지지 않은 경우, 대상 형상 모델의 재구성과 함께 수행해야 하므로 이 과제는 더욱 어려워진다. 본 논문에서는 알려지지 않은 우주선 객체에 대한 단일 샷(single-shot) 형상 및 자세 추정을 위한 새로운 프레임워크를 제안한다. 단일 이미지가 주어지면, 먼저 대상의 3D 형상 모델을 재구성한 다음, 밀집 2D-3D 대응을 학습하여 상대적인 6자유도 자세를 추정한다. 이미지 특징은 고정된(frozen) DINOv3 비전 트랜스포머로 추출하고, 기하학적 특징은 재구성된 포인트 클라우드에서 학습 가능한 동적 그래프 합성곱 신경망 인코더로 계산한다. 이중 스트림 트랜스포머 매처가 self-어텐션과 크로스 어텐션을 교대로 적용하여 디스크립터를 정제하고, 소프트 대응을 생성한 뒤 Perspective-$n$-Point(PnP) 솔버로 자세를 복원한다. SPE3R 데이터셋에서 방법을 평가하고, FoundationPose를 현재 최첨단 성능의 대표 기준선으로 삼았다. 결과적으로 단일 이미지와 재구성된 기하 정보만으로 평균 0.157도의 포인팅 오류를 달성하는 신뢰할 수 있는 자세 추정을 보여주었으며, 본 적 없는 우주선에 대해서도 강한 일반화 성능을 입증했다.

arXiv:2411.09484v5cs.CV공식 코드 · Papers with Code

평면 기반 이미지 매칭 필터링 및 정제와 그 이상

Image Matching Filtering and Refinement by Planes and Beyond

이 논문은 일반적인 이미지 매칭 파이프라인에서 최신 필터링 및 정제 방법에 대한 일관되고 광범위한 평가를 제공한다. 이전 비교와 달리, 설계된 벤치마크는 카메라 내부 파라미터(camera intrinsics)를 알 수 없는 보다 일반적이고 현실적이며 실용적인 경우도 고려한다. 또한, 평면 제약(planar constraints)과 상호 상관(cross correlation)에 기반한 비딥(non-deep) 전통적 컴퓨터 비전(CV) 접근법을 결합한 새롭고 효과적인 전략을 제시한다. 실험 분석은 현재 응용 설계와 향후 연구 방향에 대한 여러 통찰을 제공한다. 특히, 적절한 평가 프로토콜의 선택은, 그렇지 않으면 평탄화되는 경향이 있는 비교 대상 솔루션들 간의 실질적 차이를 드러낸다. 또한, 제안된 전통적 알고리즘 접근법은 최근 딥러닝 기반 방법과 경쟁력이 있다. 딥러닝 기반 방법의 평가를 위해 전통적 컴퓨터 비전을 활용한 견고한 기준선을 제공하는 것 외에도, 이러한 지식은 딥러닝 기반 이미지 매칭 아키텍처를 개선하고 더 잘 이해하는 데 유용하다. 한편으로, 기하학 기반 필터링은 이상치가 존재할 때 이미 견고한 딥러닝 파이프라인을 저하시키지 않으면서 효과적이다. 다른 한편으로, 상호 상관 정제는 코너형 키포인트의 경우 유효하며, 딥러닝 파이프라인에서 부정확한 매칭을 기본적으로 바로 폐기하지 않고 유지·정제하여 장면의 더 나은 커버리지를 달성할 수 있게 한다.

arXiv:2202.13142v3cs.CV공식 코드 · Papers with Code

특징 매칭과 암묵적 고해상도 사전을 활용한 실세계 블라인드 초고해상도

Real-World Blind Super-Resolution via Feature Matching with Implicit High-Resolution Priors

VQGAN으로 사전학습된 이산 특징 코드북(HR prior)을 활용해, 저해상도 이미지의 특징을 왜곡 없는 고해상도 대응 특징에 매칭하는 FeMaSR 프레임워크를 제안한다. 불안정한 GAN 학습이나 명시적 참조 이미지 없이도, 의미론적 정규화와 잔차 단축 연결을 통해 기존 방법 대비 더 사실적인 초고해상도 이미지를 생성함을 실험으로 검증했다.

arXiv:2607.03621v1cs.CV

파편화된 문서의 안내 및 협업 복원을 위한 비전 기반 시스템

A Vision Based System for Guided and Collaborative Reconstruction of Fragmented Documents

본 논문은 문화유산 보존 맥락에서 파편화된 종이 문서를 실시간으로 복원하기 위한 협업 시스템의 개발 및 평가를 제시한다. 개발된 시스템에는 특수 설계된 진공 흡착 장치를 이용해 종이 조각의 위치 결정을 완전히 관리할 수 있는 협동 로봇(cobot)이 포함된다. 이 장치는 부드럽고 정밀한 위치 결정을 가능하게 하여 취약한 재료의 보존을 보장한다. 이 장치를 통해 8cm² 크기의 조각에 대해 0.57mm의 위치 반복 정밀도를 달성할 수 있다. 시스템은 사용자에게 시각적 안내를 동반한 수동 위치 결정과 코봇이 수행하는 완전 자동 위치 결정 중 선택할 수 있는 유연성을 제공한다. 복원 과정을 더욱 개선하기 위해, 이미지 해석을 위한 AI 기법, 특히 분할(segmentation) 및 위치 결정 작업을 위한 기법을 적용하고 손상된 종이 조각의 템플릿 기반 복원에 대한 적용 가능성을 평가하였다. 본 연구는 회전 및 스케일 견고성, 조각 손상 정도를 고려하여 다양한 문서 유형에서 서로 다른 로컬 특징(feature) 매칭 방법의 성능에 대한 핵심적인 통찰을 제공한다. 손상되고 광학적으로 변형된 기록 자료의 복원에 초점을 맞추어, 검출기 없는 로컬 특징 매칭 방법인 SE2-LoFTR이 실험에서의 견고한 성능으로 인해 시스템의 선호 방법으로 채택되었다.

arXiv:2607.01757v1cs.CV

DL-VINS-Factory: 비주얼-관성 SLAM의 학습 기반 비주얼 프론트엔드를 위한 모듈형 프레임워크

DL-VINS-Factory: A Modular Framework for Learned Visual Front-Ends in Visual-Inertial SLAM

딥러닝 특징 추출기(ALIKED, RaCo, SuperPoint, XFeat)를 Lucas–Kanade 옵티컬 플로우 또는 LightGlue 매칭과 조합하여 공정한 비교가 가능한 모듈형 VI-SLAM 프레임워크 DL-VINS-Factory를 제안한다. 4개 데이터셋 벤치마크 결과, 학습 기반 프론트엔드는 실시간 임베디드 SLAM에 실용적으로 적용 가능하나 고전적 추적 방식에 비해 항상 우월하지는 않으며, ALIKED+LG는 EuRoC ATE를 최대 12%, SuperPoint/RaCo+LK는 Botanic Garden에서 최대 38%까지 감소시킨다.

arXiv:2507.22791v2cs.CV

시각 및 비전-언어 애플리케이션에서의 모달리티 인식 특징 매칭: 포괄적인 조사

Modality-Aware Feature Matching in Visual and Vision-Language Applications: A Comprehensive Survey

특징 매칭(feature matching)은 컴퓨터 비전의 핵심 과제로서, 이미지 검색, 스테레오 매칭, 3D 재구성, SLAM과 같은 애플리케이션에 필수적입니다. 본 조사는 모달리티 기반 특징 매칭을 포괄적으로 검토하며, RGB 이미지, 깊이 이미지, 3D 포인트 클라우드, LiDAR 스캔, 의료 이미지 및 비전-언어 상호작용을 포함한 다양한 모달리티에 걸쳐 전통적인 핸드크래프트(handcrafted) 방법을 탐색하고 최신 딥러닝 접근법을 강조합니다. Harris 코너와 같은 검출기 및 SIFT와 ORB와 같은 디스크립터를 활용하는 전통적 방법은 적절한 모달리티 내(intra-modality) 변형에서는 강인성을 보이지만, 큰 모달리티 격차에는 어려움을 겪습니다. CNN 기반 SuperPoint 및 트랜스포머 기반 LoFTR와 같은 검출기 없는(detector-free) 전략으로 대표되는 최신 딥러닝 기반 방법은 모달리티 간의 강인성과 적응성을 크게 향상시킵니다. 우리는 깊이 이미지를 위한 기하학적 및 깊이 특화 디스크립터, 3D 포인트 클라우드를 위한 희소(sparse) 및 밀집(dense) 학습 방법, LiDAR 스캔을 위한 어텐션 강화 신경망, 그리고 복잡한 의료 이미지 매칭을 위한 MIND 디스크립터와 같은 특수화된 솔루션 등 모달리티 인식 발전 사항을 강조합니다. 의료 이미지 정합 및 비전-언어 태스크(task)에서의 크로스 모달(cross-modal) 애플리케이션은 점점 더 다양해지는 데이터 상호작용을 처리하기 위한 특징 매칭의 진화를 강조합니다.