HRVMamba: High-Resolution Visual State Space Model for Dense Prediction
원문 초록
Recently, State Space Models (SSMs) with efficient hardware-aware designs, i.e., Mamba, have demonstrated significant potential in computer vision tasks due to their linear computational complexity with respect to token length and their global receptive field. However, Mamba's performance on dense prediction tasks, including human pose estimation and semantic segmentation, has been constrained by three key challenges: insufficient inductive bias, long-range forgetting, and low-resolution output representation. To address these challenges, we introduce the Dynamic Visual State Space (DVSS) block, which utilizes multi-scale convolutional kernels to extract local features across different scales and enhance inductive bias, and employs deformable convolution to mitigate the long-range forgetting problem while enabling adaptive spatial aggregation based on input and task-specific information. By leveraging the multi-resolution parallel design proposed in HRNet, we introduce High-Resolution Visual State Space Model (HRVMamba) based on the DVSS block, which preserves high-resolution representations throughout the entire process while promoting effective multi-scale feature learning. Extensive experiments highlight HRVMamba's impressive performance on dense prediction tasks, achieving competitive results against existing benchmark models without bells and whistles. Code is available at https://github.com/zhanghao5201/HRVMamba.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
U-PEN Mamba: 점진적 확장과 선택적 상태 공간 모델링을 활용한 효율적 망막 혈관 분할
U-PEN Mamba: Progressive Expansion with Selective State-Space Modeling for Efficient Retinal Vessel Segmentation
정확한 망막 혈관 분할은 컴퓨터 지원 안과 분석에 중요하지만, 가는 혈관, 낮은 대비, 심한 전경-배경 불균형은 인코더-디코더 네트워크에 여전히 어려운 과제로 남아 있다. 본 논문은 점진적 비선형 특징 확장과 선택적 상태 공간 모델링을 결합한 U자형 망막 혈관 분할 아키텍처인 U-PEN Mamba를 제안한다. 제안 네트워크는 점진적 확장으로 국소 혈관 응답을 풍부하게 하고, 선형 시퀀스 복잡도를 갖는 Mamba Global Context(MGC) 블록을 통해 장거리 공간 의존성을 모델링하며, 어텐션 기반 디코더 융합으로 미세 혈관 경계를 복원한다. 일관된 패치 기반 전처리 파이프라인으로 CHASE DB1과 DRIVE에서 U-PEN Mamba를 평가하고, 합성곱, 어텐션, 트랜스포머, Mamba 기반 분할 기준선과 비교한다. U-PEN Mamba는 비교 방법 중 평균 교집합 대합(mIoU)이 최고이며, 학습 가능 매개변수 21.6M으로 CHASE DB1에서 0.8394, DRIVE에서 0.8221을 달성하고 Dice 점수는 각각 0.8187, 0.8078이다. 소거 연구는 MGC 블록이 U-Net 기준선 대비 가장 큰 이득을 제공함을 보여 주며, 투영 차원과 state size는 실용적인 정확도-효율 조절을 가능하게 한다. 이 결과는 선택적 상태 공간 모델링이 매개변수 효율적 망막 혈관 분할을 위한 유망한 전역 문맥 메커니즘임을 시사한다. 코드는 https://github.com/areyesan/UPEN_Mamba 에서 이용할 수 있다.
GTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환
GTR: Gated Token Recurrence for Efficient Dense Prediction
셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/
Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률
Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM
지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.
LiAuto-MindViT: 적응형 양방향 Mamba를 활용한 하이브리드 비전 백본
LiAuto-MindViT: A Hybrid Vision Backbone with Adaptive Bidirectional Mamba
Mamba 기반 모델은 장기 시퀀스 모델링에서 강력한 잠재력을 보여주었지만, 시각적 이해를 위해서는 지역 이웃 상관관계(local neighborhood correlations)와 다방향 공간 문맥(multi-directional spatial contexts)이 요구되기 때문에 이를 비전에 적용하는 것은 어려운 과제이다. 본 논문에서는 CNN, Mamba, Transformer의 강점을 시너지적으로 결합한 새로운 하이브리드 비전 백본인 LiAuto-MindViT를 제안한다. 본 설계의 핵심은 적응형 양방향 Mamba(Adaptive Bidirectional Mamba, ABM)로, 학습 가능한 알파 블렌딩(learnable alpha blending)을 적용한 양방향 선택적 스캐닝(bidirectional selective scanning)을 통해 단방향 SSM의 방향성 바이어스를 제거하며, 전수 다중 경로 라우팅(exhaustive multi-path routing)의 오버헤드 없이 콘텐츠 적응형 방향 융합(content-adaptive directional fusion)을 가능하게 한다. 추론을 더욱 가속화하기 위해, 구조적 재매개변수화(structural reparameterization)를 활용하여 지연 시간(latency)과 메모리 접근 오버헤드를 줄이는 배포 친화적인 Reparameterized ConvSE(RepConvSE) 모듈을 제안한다. 광범위한 실험을 통해 LiAuto-MindViT가 이미지 분류, 객체 검출, 시맨틱 분할(semantic segmentation)에서 최첨단(state-of-the-art) 성능을 달성함과 동시에 재매개변수화를 통한 효율적인 추론을 가능하게 함을 입증한다.
Prompt-S6와 시맨틱 인식 지식 가이던스를 활용한 다중 모달 객체 재식별
Multi-Modal Object Re-Identification with Prompt-S6 and Semantic-Aware Knowledge Guidance
다중 모달 객체 재식별(ReID)은 여러 모달리티의 상보적 정보를 통합하여 특정 객체를 검색하는 것을 목표로 한다. 그러나 기존 다중 모달 ReID 방법은 배경 간섭 억제나 삼중 모달 정렬을 효과적으로 다루지 못하고, 대신 쌍별 특징 융합에 집중한다. 또한 현재 많은 집계 접근법은 높은 계산 복잡도를 겪는다. 이러한 한계를 해결하기 위해, 우리는 Prompt-S6(PS6)와 시맨틱 인식 지식 가이던스를 기반으로 한 새로운 다중 모달 ReID 프레임워크인 PRISM을 제안한다. PS6는 Mamba의 선형 복잡도와 강력한 시퀀스 모델링 능력을 유지하면서 효율적인 교차 모달 상호작용을 가능하게 한다. 이러한 장점을 활용하여, 우리는 두 가지 핵심 구성 요소인 시맨틱 기반 토큰 가지치기(Semantic-Driven Token Pruning, SDTP)와 점진적 융합 네트워크(Progressive Fusion Network, PFN)를 설계한다. 분할 기반 모델(segmentation foundation models)에서 시맨틱 사전 정보를 파싱한 SDTP는 이 사전 정보를 활용하고 동적 토큰 가지치기를 적용하여 배경 노이즈를 억제하고 특징 표현을 정제한다. PFN은 다중 모달 특징을 점진적으로 집계하여 삼중 모달 정렬을 달성하고 모달리티 상보성을 충분히 활용한다. 제안된 모듈을 통해 PRISM은 복잡한 시나리오에서 더 견고한 다중 모달 표현을 생성한다. 네 가지 다중 모달 객체 ReID 벤치마크에 대한 광범위한 실험은 우리 접근법의 효과와 효율성을 입증한다. 소스 코드는 https://github.com/zw-absin/PRISM 에서 이용 가능하다.
LCMamNet: 적외선 소형 표적 탐지를 위한 경량 크로스-스케일 Mamba 네트워크
LCMamNet: A Lightweight Cross-scale Mamba Network for Infrared Small Target Detection
적외선 소형 표적 탐지(IRSTD)는 저고도 인지, 무인 시스템 경보, 보안 모니터링에 중요하다. 그러나 적외선 영상의 약한 표적은 보통 몇 픽셀에 불과하며 구름 클러터, 지면 경계, 밝은 노이즈에 쉽게 묻혀, 경량 분할(segmentation) 기반 방법이 배경 간섭을 억제하면서 국소 표적 구조를 보존하기 어렵게 만든다. 이러한 과제를 해결하기 위해, 우리는 국소 표적 구조를 점진적으로 강화하고 잠재 공간에서 크로스-스케일 문맥을 상호작용하며 배경 억제와 함께 공간적 세부 정보를 복원하는 경량 크로스-스케일 Mamba 네트워크인 LCMamNet을 제안한다. 구체적으로, 십자형 방향 병목 잔차(CDBR) 블록을 갖춘 컴팩트 계층적 인코더는 작은 연산 예산 하에서 방향 민감 표적 구조를 강화한다. 잠재 밀집 크로스-스케일 융합(LDCF) 모듈은 양방향 Mamba 모델링을 통해 밀집 전계층 상호작용을 수행하고, 상호작용된 특징을 안정적인 계층적 의미론으로 재구성한다. 마지막으로, 점진적 디코더는 무관한 배경 텍스처를 억제하면서 얕은 공간 세부 정보를 선택적으로 복원한다. IRSTD-1k, NUAA-SIRST, NUDT-SIRST에 대한 광범위한 실험 결과, 제안 네트워크는 각각 71.25%, 79.60%, 95.58%의 mIoU 점수를 달성하며, 파라미터는 1.175M, 연산량은 6.91 GFLOPs에 불과하다. 또한 평균 추론 지연시간 6.62 ms로 동작하며, NVIDIA Jetson Orin NX 16G SUPER에서의 배포 결과는 실시간 엣지 추론에 대한 실용적 잠재력을 더욱 보여준다. 코드와 체크포인트는 https://github.com/Haoyu096/LCMamNet 에서 공개적으로 이용 가능하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.