MESA: Matching Everything by Segmenting Anything
원문 초록
Feature matching is a crucial task in the field of computer vision, which involves finding correspondences between images. Previous studies achieve remarkable performance using learning-based feature comparison. However, the pervasive presence of matching redundancy between images gives rise to unnecessary and error-prone computations in these methods, imposing limitations on their accuracy. To address this issue, we propose MESA, a novel approach to establish precise area (or region) matches for efficient matching redundancy reduction. MESA first leverages the advanced image understanding capability of SAM, a state-of-the-art foundation model for image segmentation, to obtain image areas with implicit semantic. Then, a multi-relational graph is proposed to model the spatial structure of these areas and construct their scale hierarchy. Based on graphical models derived from the graph, the area matching is reformulated as an energy minimization task and effectively resolved. Extensive experiments demonstrate that MESA yields substantial precision improvement for multiple point matchers in indoor and outdoor downstream tasks, e.g. +13.61% for DKM in indoor pose estimation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환
GTR: Gated Token Recurrence for Efficient Dense Prediction
셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/
Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률
Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM
지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.
확산 기반 세그멘테이션에 대한 재고: 모델은 언제 노이즈 상태에 의존하며, 확산 과정은 정말 중요한가?
Rethinking Diffusion Segmentation: When Does It Rely on Its Noisy State, and Does Diffusion Matter?
확산 모델(diffusion model)은 생성 모델에서 조건부 신호와 점진적으로 변화하는 타깃의 노이즈 표현(noisy representation)을 결합하는 조건부 예측으로 점차 확장 적용되고 있습니다. 그러나 완전 지도(fully supervised) 세그멘테이션에서는 조건부 이미지만으로도 이미 직접적인 타깃 예측이 가능하므로, 최종 종단(endpoint) 성능만으로는 추가된 확산 상태(diffusion state)에 대한 의존성이나 이미지 전용 예측 대비 결정론적 이점을 입증할 수 없습니다. 상태 의존성을 검증하기 위해, 저자들은 3개 데이터셋에 걸쳐 발표된 12가지 기법을 설정당 10개의 일치된 시드(seed)로 재학습하면서 타깃 유래 상태 내용 또는 올바른 이미지-상태 쌍을 교란했습니다. 평가 마스크 경로가 노이즈 수치 재구성의 하류(downstream)에 유지된 기존 기법 비교 40건 모두에서 상태 의존성이 나타난 반면, 세그멘테이션 감독 우회로(bypass)가 있는 비교 30건 모두에서는 기준 성능이 유지되었습니다. 원래 우회로 사용이 가능했던 5가지 기법에서 세그멘테이션 감독이 노이즈-마스크 재구성을 거치도록 경로를 재설정하자, 해당 비교 30건 모두에서 성능 유지 상태가 상태 의존성으로 전환되었습니다. 결정론적 유용성 측면에서는, 매칭된 이미지 전용 대조군이 전체 35개 설정 중 28개에서 유사하거나 더 우수한 성능을 달성했으며, 원본 기법이 검증 대상 상태 특성 두 가지 모두에 의존했던 20개 중 16개 설정에서도 동일한 결과가 나타났습니다. 이러한 결과는 감독 경로가 검증 대상 기법들의 상태 의존성을 결정짓는 요인임을 보여줍니다. 아울러 매칭된 이미지 전용 대조군은 검증 대상 상태 특성에 의존하는 기법을 포함하여, 확산 특화 연산이 최종 종단에서 결정론적 이점을 제공하지 못하는 경우가 많음을 보여줍니다. 보다 일반적으로, 조건부 입력이 이미 강력한 타깃 예측을 지원하는 경우 확산 특화 주장은 추가된 상태가 실제로 활용된다는 점과 확산 특화 연산이 매칭된 조건 전용 대조군을 넘어 주장된 성능을 향상시킨다는 추가적인 증거를 요구합니다.
0.5%>100%: 참조 이미지 분할을 위한 양방향 상호 학습
0.5\%>100\%: Bidirectional Reciprocal Learning for Referring Image Segmentation
최근 비전 파운데이션 모델(vision foundation models, VFM)의 발전은 다양한 단일 모달 비전 작업에서 뛰어난 성능을 보여주었다. 그러나 VFM을 참조 이미지 분할(referring image segmentation, RIS)에 적용하려면 일반적으로 전체 미세조정(fine-tuning)을 통한 정밀한 비전-언어 정렬이 필요하며, 이는 상당한 연산 오버헤드를 유발하고 치명적 망각(catastrophic forgetting)의 위험을 초래한다. 기존의 매개변수 효율적 미세조정(parameter-efficient fine-tuning, PEFT) 방법들은 최소한의 학습 비용으로 안전한 지식 전이를 가능하게 하지만, 대부분 개별 모달리티 내에서 독립적으로 작동하거나 언어에서 비전으로의 단방향 안내에만 초점을 맞추어, 점진적인 교차 모달 상호작용과 텍스트 정제를 위한 시각적 피드백을 간과한다. 이러한 한계를 해결하기 위해, 우리는 고정된(frozen) 파운데이션 모델의 토큰 믹싱(token-mixing) 및 채널 믹싱(channel-mixing) 레이어 내에서 계층적이고 양방향적인 정보 흐름을 촉진하는 새로운 어댑터 기반 PEFT 프레임워크인 양방향 상호 학습(Bidirectional Reciprocal Learning, BRL)을 제안한다. 구체적으로, BRL은 두 가지 상호보완적인 경량 모듈을 도입한다. 상호 어텐션 어댑터(Reciprocal Attention Adapter, RAA)는 토큰 수준에서 교차 모달 쿼리-키 교환을 수행하여, 시각적 토큰과 언어적 토큰이 서로 주목(attend)함으로써 세밀한 공간적 그라운딩(grounding)을 가능하게 한다. 상호 게이트 어댑터(Reciprocal Gate Adapter, RGA)는 채널 수준에서 교차 모달 게이팅 신호를 생성하여, 한 모달리티의 전역 의미적 맥락이 다른 모달리티의 채널 활성화를 적응적으로 재조정할 수 있도록 한다. RefCOCO, RefCOCO+, RefCOCOg 벤치마크에 대한 광범위한 실험을 통해 BRL이 기존 RIS 방법들보다 우수함을 입증하였으며, 백본 매개변수 업데이트를 0.5% 미만으로 유지하면서도 최고 수준(state-of-the-art)의 성능을 달성하였다. 코드와 모델은 https://github.com/xiaoqiang-lu/BRL 에서 공개될 예정이다.
SPDCN: 강철 표면 결함 분할을 위한 스트립 기반 변형 합성곱 네트워크
SPDCN: Strip-based Deformable Convolutional Network for Steel Surface Defect Segmentation
강철 표면 결함 분할은 산업 품질 검사에 매우 중요하지만, 기존 방법들은 표준 합성곱의 등방성(isotropic) 수용 영역과 불규칙한 결함 경계에 적응할 수 없는 고정 샘플링 그리드로 인해 균열 및 긁힘과 같은 세장하고 이방성(anisotropic)인 결함을 처리하는 데 어려움을 겪는다. 이러한 한계를 해결하기 위해, 우리는 두 가지 핵심 혁신을 갖춘 변형 합성곱 네트워크(Deformable Convolutional Networks)용 스트립 기반 예측기(SPDCN)를 제안한다. Fuzzy-enhanced Multi-scale Context Module(FMCM)은 직관적 퍼지 채널 어텐션(intuitionistic fuzzy channel attention) 메커니즘을 갖춘 그룹별 다중 분기 합성곱을 사용하여 다양한 결함 크기에 걸친 다중 스케일 문맥 정보를 적응적으로 포착한다. Adaptive Direction-Aware Deformable Convolution(ADADC)은 기존 오프셋 예측기를 분리된 수평·수직 스트립 합성곱으로 대체하여, 변형 샘플링 그리드가 세장한 결함의 주 방향과 이방성적으로 정렬되도록 한다. 공개 강철 표면 결함 벤치마크에 대한 광범위한 실험에서 SPDCN은 최신(state-of-the-art) 방법들을 일관되게 능가하며, 3.54M 파라미터만으로 NEU-Seg에서 89.60% mIoU를 달성한다. 소스 코드는 https://github.com/DWlzm 에서 공개적으로 제공된다.
MetaFormer and CNN Hybrid Model for Polyp Image Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.