ProgResViT: 적응형 비전 트랜스포머를 위한 점진적 해상도 및 너비
ProgResViT: Progressive Resolution and Width for Adaptive Vision Transformers
비전 트랜스포머(ViT)는 많은 이미지가 훨씬 적은 연산량으로도 분류(classification)될 수 있음에도 불구하고, 일반적으로 고정된 입력 해상도와 모델(model) 너비를 사용하여 모든 이미지를 처리합니다. 본 논문에서는 여러 라운드에 걸쳐 점진적으로 추론(inference)을 수행하는 입력 적응형 ViT인 ProgResViT를 소개합니다. 첫 번째 라운드는 좁은 서브네트워크로 저해상도 이미지를 처리합니다. 예측 신뢰도가 충분히 높으면 추론이 종료되며, 그렇지 않으면 모델은 현재 라운드에서 생성된 표현을 재사용하고 더 높은 해상도의 입력과 더 넓은 서브네트워크로 진행하여 예측을 정교화합니다. 모든 라운드가 단일 백본을 공유하므로, 현재 라운드, 블록 및 입력 해상도에 맞춰 토큰(token) 융합과 층(layer) 출력을 조건화하는 Progress-Conditioned Soft Gating(PSG)을 제안합니다. 이미지 분류(image classification)에서 DeiT에 ProgResViT를 적용했을 때 적응형 너비, 적응형 깊이 및 동적 토큰 베이스라인보다 더 우수한 정확도-연산량 트레이드오프를 제공합니다. 지식 증류(knowledge distillation)를 적용한 DeiT 기반 ProgResViT는 84.9%의 top-1 정확도를 달성하여 비교 가능한 평가 환경에서 보고된 DeiT-III-S 정확도를 소폭 상회합니다. 또한 동일한 설계가 자기지도 DINO 표현 및 다운스트림 시맨틱 분할에 대해서도 유리한 정확도-연산량 트레이드오프를 제공함을 보여줍니다. 코드는 https://github.com/ds-kiel/ProgResViT 에서 확인할 수 있습니다.