ProgResViT: 적응형 비전 트랜스포머를 위한 점진적 해상도 및 너비
ProgResViT: Progressive Resolution and Width for Adaptive Vision Transformers
한국어 초록
비전 트랜스포머(ViT)는 많은 이미지가 훨씬 적은 연산량으로도 분류(classification)될 수 있음에도 불구하고, 일반적으로 고정된 입력 해상도와 모델(model) 너비를 사용하여 모든 이미지를 처리합니다. 본 논문에서는 여러 라운드에 걸쳐 점진적으로 추론(inference)을 수행하는 입력 적응형 ViT인 ProgResViT를 소개합니다. 첫 번째 라운드는 좁은 서브네트워크로 저해상도 이미지를 처리합니다. 예측 신뢰도가 충분히 높으면 추론이 종료되며, 그렇지 않으면 모델은 현재 라운드에서 생성된 표현을 재사용하고 더 높은 해상도의 입력과 더 넓은 서브네트워크로 진행하여 예측을 정교화합니다. 모든 라운드가 단일 백본을 공유하므로, 현재 라운드, 블록 및 입력 해상도에 맞춰 토큰(token) 융합과 층(layer) 출력을 조건화하는 Progress-Conditioned Soft Gating(PSG)을 제안합니다. 이미지 분류(image classification)에서 DeiT에 ProgResViT를 적용했을 때 적응형 너비, 적응형 깊이 및 동적 토큰 베이스라인보다 더 우수한 정확도-연산량 트레이드오프를 제공합니다. 지식 증류(knowledge distillation)를 적용한 DeiT 기반 ProgResViT는 84.9%의 top-1 정확도를 달성하여 비교 가능한 평가 환경에서 보고된 DeiT-III-S 정확도를 소폭 상회합니다. 또한 동일한 설계가 자기지도 DINO 표현 및 다운스트림 시맨틱 분할에 대해서도 유리한 정확도-연산량 트레이드오프를 제공함을 보여줍니다. 코드는 https://github.com/ds-kiel/ProgResViT 에서 확인할 수 있습니다.
원문 초록
Vision Transformers (ViTs) typically process every image using a fixed input resolution and model width, even though many images can be classified with substantially less computation. We introduce ProgResViT, an input-adaptive ViT that performs inference progressively across multiple rounds. The first round processes a low-resolution image with a narrow subnetwork. Inference terminates when the prediction is sufficiently confident; otherwise, the model reuses the representations produced in the current round and proceeds with a higher-resolution input and a wider subnetwork to refine its prediction. As all rounds share a single backbone, we propose Progress-Conditioned Soft Gating (PSG), which conditions token fusion and layer outputs on the current round, block, and input resolution. On image classification, applying ProgResViT to DeiT yields better accuracy-compute trade-offs than adaptive-width, adaptive-depth, and dynamic-token baselines. With knowledge distillation, a DeiT-based ProgResViT achieves 84.9% top-1 accuracy, slightly exceeding the reported DeiT-III-S accuracy under a comparable evaluation setting. We show that the same design also provides favorable accuracy-compute trade-offs for self-supervised DINO representations and downstream semantic segmentation. Code is available at https://github.com/ds-kiel/ProgResViT.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.03216v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.