소형 비전 백본에서 전역 문맥과 가중치 공유가 효과를 내는 위치
Where Global Context and Weight Sharing Work in Compact Vision Backbones
한국어 초록
EfficientNet과 같은 소형 합성곱 백본은 국소적인 깊이별 분리 합성곱을 통해 높은 매개변수 효율을 달성하지만, 하이브리드 설계에는 두 가지 구조적 질문이 여전히 핵심으로 남아 있다. 순수 합성곱에 비해 전역 자기 어텐션이 인식을 개선하는 위치는 어디인가, 그리고 반복되는 블록이 표현 능력을 잃지 않고 가중치를 공유할 수 있는가. 우리는 통제된 EfficientNet-B0 실험을 사용하여 ImageNet-1k(검증 이미지 50,000장)에서 두 질문을 모두 조사한다. 첫째, 분류 백본을 다중 스케일 특징 피라미드(BiFPN)로 감싸면 단계 어텐션과 함께 사용하기 전까지(73.15%) 일반 MBConv 트렁크(일반 B0 72.86% 대비 69.99%~71.81%)를 능가하지 못함을 보인다. 반면 MBConv 트렁크를 그대로 두고 P3(28x28 윈도우 방식), P4(14x14 전역), P5(7x7 전역) 단계에 경량의 제로 게이트 잔차 자기 어텐션 어댑터를 삽입하면 단독으로 74.02%에 도달하며, 88 에폭의 무상태 재생 스케줄 전반에서 비트 단위로 일치시킨 일반 B0 대조군보다 +0.954 퍼센트포인트(73.88% 대 72.92%) 높은 성능을 보인다. 학습된 어텐션 진폭은 의미적 깊이에 따라 단조롭게 증가한다(P3 27.2% -> P4 45.4% -> P5 66.3%). 둘째, 패스별 BatchNorm 통계(패스당 +1,536개 매개변수)를 갖는 반복 MBConv 블록 간 순환적 가중치 공유를 평가한다. 사후 커널 평균화는 정확도를 17.03%로 떨어뜨리고 단일 템플릿 단계 묶기(매개변수 -27.6%)는 66.10%에서 정체되지만, Stage 6에서 두 개의 공유 블록 템플릿을 번갈아 사용하는 방식([B1, A, B, A])은 전체 모델 매개변수를 10.9%(582K 가중치) 줄이고 단 한 번의 에폭에 +10.82 포인트 회복하여 70.92%(비공유 대조군 대비 -1.84 포인트)에 이른다.
원문 초록
Compact convolutional backbones such as EfficientNet achieve strong parameter efficiency through local depthwise separable convolutions, yet two structural questions remain central to hybrid design: where does global self-attention improve recognition over pure convolution, and can repeated blocks share weights without losing representational capacity? We investigate both questions on ImageNet-1k (50,000-image validation) using controlled EfficientNet-B0 experiments. First, we show that wrapping a classification backbone in multi-scale feature pyramids (BiFPN) fails to outperform a plain MBConv trunk (69.99% - 71.81% vs. 72.86% plain B0) until paired with stage attention (73.15%). In contrast, keeping the MBConv trunk intact and inserting lightweight zero-gated residual self-attention adapters at stages P3 (28x28 windowed), P4 (14x14 global), and P5 (7x7 global) reaches 74.02% standalone and outperforms a bit-for-bit matched plain-B0 control by +0.954 percentage points (73.88% vs. 72.92%) across an 88-epoch stateless replay schedule, with learned attention amplitude rising monotonically with semantic depth (27.2% at P3 -> 45.4% at P4 -> 66.3% at P5). Second, we evaluate recurrent weight sharing across repeated MBConv blocks with pass-specific BatchNorm statistics (+1,536 parameters per pass). While post-hoc kernel averaging degrades accuracy to 17.03% and single-template stage tying (-27.6% parameters) plateaus at 66.10%, alternating two shared block templates ([B1, A, B, A]) in Stage 6 cuts total model parameters by 10.9% (582K weights) and recovers by +10.82 points in a single epoch to 70.92% (-1.84 points vs. unshared control).
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23446v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.