최근 비디오 초해상도(VSR) 방법들은 트랜스포머와 명시적 옵티컬 플로우에 크게 의존하며, 이는 TensorRT와 같은 하드웨어 가속기에의 배포를 저해하는 연산 오버헤드와 커스텀 연산을 야기한다. 이를 해결하기 위해, 우리는 리소스가 제한된 엣지 디바이스를 위해 설계된 확장 가능한 완전 합성곱 아키텍처인 NanoVSR을 소개한다. 구조적 재파라미터화(structural reparameterization)를 활용하여, NanoVSR은 추론 시 표준 합성곱으로 축약되어 원활한 하드웨어 호환성과 무시할 수 있는 수준의 런타임 오버헤드를 보장한다. 또한, 명시적 모션 보상이 없음에도 불구하고, 점진적 학습을 통해 시공간적 정렬을 암묵적으로 학습함으로써 경쟁력 있는 복원 품질을 유지한다. REDS4 벤치마크에서 평가한 결과, NanoVSR은 정확도와 연산 효율성 간의 탁월한 균형을 보여주며, 소형 아키텍처에서의 트레이드오프를 크게 개선한다. NanoVSR-644k 기준선은 NVIDIA Jetson Orin NX 16GB(25W)에서 27.2 FPS를 달성하면서 28.64 dB PSNR을 제공하여, 더 무거운 모델 대비 대폭적인 속도 향상을 제공한다. 확장된 NanoVSR-1.7M 변형은 19.58 FPS의 처리량으로 29.15 dB에 도달하여, 우수한 엣지 최적화 업스케일링을 제공한다. 코드는 https://github.com/filippawlicki/nanovsr 에서 확인할 수 있다.
Mamba 기반 모델은 장기 시퀀스 모델링에서 강력한 잠재력을 보여주었지만, 시각적 이해를 위해서는 지역 이웃 상관관계(local neighborhood correlations)와 다방향 공간 문맥(multi-directional spatial contexts)이 요구되기 때문에 이를 비전에 적용하는 것은 어려운 과제이다. 본 논문에서는 CNN, Mamba, Transformer의 강점을 시너지적으로 결합한 새로운 하이브리드 비전 백본인 LiAuto-MindViT를 제안한다. 본 설계의 핵심은 적응형 양방향 Mamba(Adaptive Bidirectional Mamba, ABM)로, 학습 가능한 알파 블렌딩(learnable alpha blending)을 적용한 양방향 선택적 스캐닝(bidirectional selective scanning)을 통해 단방향 SSM의 방향성 바이어스를 제거하며, 전수 다중 경로 라우팅(exhaustive multi-path routing)의 오버헤드 없이 콘텐츠 적응형 방향 융합(content-adaptive directional fusion)을 가능하게 한다. 추론을 더욱 가속화하기 위해, 구조적 재매개변수화(structural reparameterization)를 활용하여 지연 시간(latency)과 메모리 접근 오버헤드를 줄이는 배포 친화적인 Reparameterized ConvSE(RepConvSE) 모듈을 제안한다. 광범위한 실험을 통해 LiAuto-MindViT가 이미지 분류, 객체 검출, 시맨틱 분할(semantic segmentation)에서 최첨단(state-of-the-art) 성능을 달성함과 동시에 재매개변수화를 통한 효율적인 추론을 가능하게 함을 입증한다.