매끄러운 인라이어, 불규칙한 아웃라이어: 두 시점 대응 학습을 위한 주파수 인식 Mamba
Smooth Inliers, Erratic Outliers: Frequency-Aware Mamba for Two-View Correspondence Learning
한국어 초록
같은 대성당을 찍은 두 사진 사이의 매칭을 보면, 사람은 어느 것이 틀렸는지 한눈에 알아낸다. 닮은 창문끼리 잘못 연결된 매칭은 이웃 매칭들과 어긋나게 튀는 반면, 올바른 매칭들은 함께 이동한다. 대응 가지치기라고도 불리는 두 시점 대응 학습은 대부분이 틀린 수천 개의 후보 매칭에 대해 네트워크가 이러한 판단을 하도록 요구한다. 빠른 시퀀스 모델인 Mamba가 이제 강력한 가지치기 모델을 이끌고 있지만, 매칭을 단순한 시퀀스로 읽기 때문에 그 스캔이 이러한 일치성을 포착할 수 있는지는 불분명하다. 본 논문은 매칭을 클러스터별로 스캔하여 올바른 매칭은 시퀀스를 따라 천천히 변하고 틀린 매칭은 불규칙하게 유지되도록 하며, 순방향과 역방향 패스 사이에서 학습 가능한 주파수 영역 게이트로 스캔된 특징을 필터링하는 SFMambaNet을 제안한다. 카메라 자세 추정, 아웃라이어 제거, 호모그래피 추정에서 SFMambaNet은 약 200만 개의 매개변수 규모에서 공간 영역 Mamba 기준 모델들을 능가함을 확인하였다. 이러한 이득이 추가 용량에서 비롯된다는 통상적 기대와 달리, 매개변수가 없는 저역 통과 필터가 게이트만큼 큰 점별 계층보다 우수함을 발견하였다. 학습된 게이트는 스스로 저역 통과 특성을 띠게 되며 스캔이 매칭의 섞임 순서에 훨씬 덜 민감해지도록 한다. 이러한 결과는 주파수가 대응 간의 일치성을 기술하는 자연스러운 언어임을 보여주며, 점군이나 그래프처럼 순서 없는 집합을 읽어야 하는 다른 시퀀스 모델에도 시사점을 준다.
원문 초록
When shown matches between two photographs of the same cathedral, people can tell at a glance which ones are wrong: a window matched to its look-alike jumps against its neighbors, while correct matches shift together. Two-view correspondence learning, also called correspondence pruning, asks a network to make this judgment for thousands of candidate matches, most of which are wrong. Mamba, a fast sequence model, now drives strong pruners, but it reads the matches as a plain sequence, and whether its scan can capture such agreement is unclear. We propose SFMambaNet, which scans the matches cluster by cluster, so that correct matches vary slowly along the sequence while wrong ones stay erratic, and filters the scanned features with learnable frequency-domain gates between its forward and backward passes. On camera pose estimation, outlier removal and homography estimation, we find that SFMambaNet outperforms spatial-domain Mamba baselines with about two million parameters. Contrary to the usual expectation that such gains come from extra capacity, we find that a parameter-free low-pass filter beats point-wise layers as large as the gates. The learned gates turn low-pass on their own and make the scan far less sensitive to how the matches are shuffled. Together, these results show that frequency is a natural language for describing agreement between correspondences, with implications for other sequence models that must read unordered sets, such as point clouds and graphs.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.04493v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.