PyTorchKR Papers

업데이트된 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2412.11161v2cs.CV공식 코드 · Papers with Code

이유와 방법: 교차 스펙트럼 영상 패치 매칭을 위한 지식 기반 학습

Why and How: Knowledge-Guided Learning for Cross-Spectral Image Patch Matching

최근 특징 관계 학습에 기반한 교차 스펙트럼 영상 패치 매칭이 폭넓은 관심을 받고 있다. 그러나 기존 방법은 복잡한 관계 추출 구조를 구축하여 더 풍부한 특징 관계를 발굴하는 데 집중한다. 한편 성능 병목 현상이 점차 나타나고 있다. 이를 해결하기 위해 우리는 기술자 학습과 거리 학습 사이의 안정적이고 효율적인 가교를 탐구하는 최초의 시도를 하고, 복잡한 네트워크 구조를 버리면서도 상당한 성능 향상을 달성하는 지식 기반 학습 네트워크(KGL-Net)를 구축한다. 구체적으로, 특징 차이 학습에 기반한 거리 학습과 유클리드 거리에 기반한 기술자 학습 사이에 특징 추출의 일관성이 있음을 발견한다. 이는 가교 구축의 토대가 된다. 구축한 가교의 안정성과 효율성을 보장하기 위해, 한편으로는 20가지 조합 네트워크 아키텍처를 심층적으로 탐구한다. 다른 한편으로는 특징의 상호 유도를 달성하는 특징 유도 손실을 구성한다. 또한 기존 방법과 달리 거리 분기의 특징 매핑 능력에 더 많은 주의를 기울여야 한다고 본다. 이에 따라 거리 학습을 위한 어려운 부정 샘플 마이닝(HNSM-M) 전략을 구성한다. 우리가 아는 한, 거리 네트워크에 대한 어려운 부정 샘플 마이닝이 구현되어 상당한 성능 향상을 가져온 것은 이번이 처음이다. 폭넓은 실험 결과, KGL-Net은 여러 교차 스펙트럼 영상 패치 매칭 데이터셋에서 최고 수준(SOTA)의 성능을 달성한다. 코드는 https://github.com/YuChuang1205/KGL-Net 에서 공개되어 있다.

arXiv:2403.11751v4cs.CV공식 코드 · Papers with Code

교차 스펙트럼 이미지 패치 매칭을 위한 관계 표현 학습 네트워크

Relational Representation Learning Network for Cross-Spectral Image Patch Matching

최근 교차 스펙트럼 이미지 패치 매칭에서 특징 관계 학습이 폭넓은 주목을 받고 있다. 그러나 기존 연구는 이미지 패치 간의 다양한 특징 관계를 포착하는 데 집중하고, 개별 이미지 패치의 충분한 내재적 특징 표현은 간과한다. 이러한 한계를 해결하기 위해, 개별 이미지 패치의 내재적 특징과 이미지 패치 간의 특징 관계를 동시에 충분히 발굴하는 데 초점을 맞춘 혁신적인 관계 표현 학습을 제안한다. 이를 바탕으로 관계 표현 학습 네트워크(RRL-Net)를 구축한다. 구체적으로, 개별 내재적 특징을 효과적으로 특성화하기 위해 오토인코더를 새롭게 구성하고, 심층 수준의 특징 관계를 추출하기 위해 특징 상호작용 학습(FIL) 모듈을 도입한다. 한편 개별 내재적 특징을 더욱 충분히 발굴하기 위해, 개별 이미지 패치의 전역 특징 추출을 강화하고 전역 특징 내의 지역 의존성을 포착하는 경량 다차원 전역-지역 어텐션(MGLA) 모듈을 구성한다. MGLA 모듈을 결합하여 특징 추출 네트워크를 추가로 탐구하고, 어텐션 기반 경량 특징 추출(ALFE) 네트워크를 구축한다. 또한 파라미터 수와 추론 시간의 증가를 피하면서 네트워크 최적화를 크게 촉진할 수 있는 다중 손실 사후 가지치기(MLPP) 최적화 전략을 제안한다. 폭넓은 실험을 통해 RRL-Net이 여러 공개 데이터셋에서 최첨단(SOTA) 성능을 달성함을 입증한다. 코드는 https://github.com/YuChuang1205/RRL-Net 에서 확인할 수 있다.