arXiv:2509.15688v2 cs.CV

PPS: 세밀한 분류를 위한 플러그 앤 플레이 단속적 시각

PPS: Plug-and-Play Saccadic Vision for Fine-Grained Classification

Johann Schmidt, Sebastian Stober, Joachim Denzler, Paul Bodesheim

제출 2026-11-02

한국어 초록

세밀한 시각 분류는 미묘하고 국소적인 단서를 구분하기 위해 고해상도 입력의 이점을 얻지만, 그 대가로 큰 계산량과 메모리 예산이 필요하다. 인간의 단속적 시각(saccadic vision)에서 영감을 받아, 우리는 공간 특징 맵을 가진 임의의 사전 학습 백본을 glimpse 유도 추론을 통해 단속적 분류기로 바꾸는 경량 확장을 제안한다. 구조상 추가되는 것은 작은 우선순위 헤드와 단일 교차 어텐션 융합 블록뿐이다. 가중치를 공유하는 동일한 인코더가 다운샘플링된 주변부 glance를 인코딩하고, 우선순위 헤드가 glimpse 우선순위 분포를 예측하는 데 쓰이는 공간 특징 맵을 내놓으며, 이 분포에서 샘플링한 고해상도 glimpse 크롭을 병렬로 다시 인코딩한다. 비최대 억제를 갖춘 순차 샘플러가 실행 시점에 설정 가능한 개수의 glimpse를 추출한다. 이어서 잔차 멀티헤드 교차 어텐션 블록이 glance를 glimpse들과 융합한다. 우선순위 맵의 품질을 높이기 위해, 경량의 이미지별 메모리 뱅크에서 얻은 glimpse별 정보 이득 목표로 우선순위 헤드를 학습시킨다. 이는 강화학습을 필요로 하지 않는다. 복잡도는 glimpse 수에 선형적이며 최대 메모리는 입력 해상도와 분리된다. 아홉 개의 벤치마크 전반에서 우리의 프레임워크는 기반 백본보다 일관되게 향상된 성능을 보인다.

원문 초록

Fine-grained visual classification benefits from high-resolution inputs to resolve subtle, localized cues, but at the cost of large compute and memory budgets. Inspired by human saccadic vision, we propose a lightweight extension that turns any pretrained backbone with spatial feature maps into a saccadic classifier through glimpse-induced inference. The only architectural additions are a small priority head and a single cross-attention fusion block. The same weight-tied encoder encodes a downsampled peripheral glance, exposes the spatial feature map from which the priority head predicts a glimpse-priority distribution and re-encodes high-resolution glimpse crops sampled from that distribution in parallel. A sequential sampler with non-maximum suppression draws a runtime-configurable number of glimpses. A residual multi-head cross-attention block then fuses the glance against the glimpses. To improve the quality of the priority maps, we train the priority head by a per-glimpse information-gain target from a lightweight per-image memory bank. This requires no reinforcement learning. Complexity is linear in the number of glimpses and peak memory is decoupled from input resolution. Across nine benchmarks our framework improves consistently over its backbones.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2509.15688v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.