셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/
Mamba 기반 모델은 장기 시퀀스 모델링에서 강력한 잠재력을 보여주었지만, 시각적 이해를 위해서는 지역 이웃 상관관계(local neighborhood correlations)와 다방향 공간 문맥(multi-directional spatial contexts)이 요구되기 때문에 이를 비전에 적용하는 것은 어려운 과제이다. 본 논문에서는 CNN, Mamba, Transformer의 강점을 시너지적으로 결합한 새로운 하이브리드 비전 백본인 LiAuto-MindViT를 제안한다. 본 설계의 핵심은 적응형 양방향 Mamba(Adaptive Bidirectional Mamba, ABM)로, 학습 가능한 알파 블렌딩(learnable alpha blending)을 적용한 양방향 선택적 스캐닝(bidirectional selective scanning)을 통해 단방향 SSM의 방향성 바이어스를 제거하며, 전수 다중 경로 라우팅(exhaustive multi-path routing)의 오버헤드 없이 콘텐츠 적응형 방향 융합(content-adaptive directional fusion)을 가능하게 한다. 추론을 더욱 가속화하기 위해, 구조적 재매개변수화(structural reparameterization)를 활용하여 지연 시간(latency)과 메모리 접근 오버헤드를 줄이는 배포 친화적인 Reparameterized ConvSE(RepConvSE) 모듈을 제안한다. 광범위한 실험을 통해 LiAuto-MindViT가 이미지 분류, 객체 검출, 시맨틱 분할(semantic segmentation)에서 최첨단(state-of-the-art) 성능을 달성함과 동시에 재매개변수화를 통한 효율적인 추론을 가능하게 함을 입증한다.
비전 백본 네트워크는 현대 컴퓨터 비전에서 핵심적인 역할을 담당합니다. 이들의 효율성을 높이는 것은 다양한 다운스트림 애플리케이션에 직접적인 이익을 줍니다. 효율성을 측정하기 위해 많은 연구에서 실행 시간의 예측 지표로 MACs(곱셈-누산 연산)를 사용합니다. 본 논문에서는 특히 엣지 디바이스 환경에서 이러한 지표의 한계를 실험적으로 입증합니다. 일반적인 아키텍처 설계 요소들의 MAC 수와 실행 시간을 비교 분석하여, 효율적인 실행을 위한 핵심 요인을 식별하고 백본 설계 최적화에 대한 통찰을 제공합니다. 이러한 통찰을 바탕으로, 새로운 비전 백본 패밀리인 LowFormer를 제안합니다. LowFormer는 멀티 헤드 셀프 어텐션(Multi-Head Self-Attention)의 경량 대안인 Lowtention을 포함하는 간소화된 매크로 및 마이크로 설계를 특징으로 합니다. Lowtention은 더 효율적일 뿐만 아니라 ImageNet에서 우수한 성능을 달성함을 입증했습니다. 또한, 엣지 GPU와 데스크톱 GPU에서 기준선(baseline) 모델 대비 속도를 더욱 향상시킬 수 있는 LowFormer의 엣지 GPU 버전을 제시합니다. 더 작은 이미지 분류 데이터셋에서 평가하고, 객체 검출, 시맨틱 세그멘테이션, 이미지 검색 및 비전 객체 추적과 같은 여러 다운스트림 태스크에 적용하여 LowFormer의 광범위한 적용 가능성을 입증합니다. LowFormer 모델은 최신 최고 수준의 백본들과 비교하여 다양한 하드웨어 플랫폼에서 일관되게 현저한 속도 향상을 달성합니다. 코드와 모델은 https://github.com/altair199797/LowFormer/blob/main/Beyond_MACs.md 에서 확인할 수 있습니다.