우리는 세분 시각 인식을 위한 선택적 이미지 토큰화 방법인 Subtoken Vision Transformer(SubViT)를 제시한다. 표준 Vision Transformer는 각 고정 크기 패치를 단일 토큰으로 압축하지만, 세분 구분은 종종 소수 패치 내의 국소적 변화에 의존한다. SubViT는 전역 컨텍스트를 위해 원래 토큰 시퀀스를 유지하면서 판별적 패치를 여러 서브토큰으로 표현하여 이 불일치를 해소하며, 이로써 가장 필요한 곳에 추가 용량을 할당한다. 어텐션 헤드는 상호 보완적인 의미론을 인코딩하고, 추론 시 어텐션 맵을 추출하려면 추가적인 백본 순전파가 필요하므로, 우리는 2단계 학습 전략을 채택한다. 1단계에서는 무작위 어텐션 헤드에서 샘플링한 분할 영역을 사용해 ViT를 파인튜닝하여, 모델을 다양한 분할 패턴에 노출시킨다. 2단계에서는 특징 저하 거리를 통해 정보성 있는 어텐션 맵을 식별하고, 이를 경량 단일 맵 라우터로 증류하여, 별도의 어텐션 순전파 없이 결정적 토큰 중요도 점수를 직접 예측한다. 우리는 세분 판별과 미표지 신규 범주로의 일반화 모두를 요구하는 도전적 과제인 Generalized Category Discovery(GCD)에서 SubViT를 평가한다. CUB, FGVC-Aircraft, Stanford-Cars에서 SubViT는 DINOv2의 평균 신규 범주 정확도를 $81.3\%$에서 $84.7\%$로 향상시키며, 추가 지연은 $0.50$ ms, FLOPs는 $3.4\%$만 증가하면서도 Retina Patch 대비 지연을 $73.8\%$ 줄인다. 코드: \href{https://github.com/jiezhu23/SubViT_ACCV26}{SubViT}.
본 연구에서는 관계적 검색(Relational Retrieval) 관점을 통해 일반화된 범주 발견(Generalized Category Discovery, GCD) 문제를 다루며, 양방향 지식 전이를 통해 레이블이 있는 데이터와 없는 데이터를 명시적으로 결합한다. 기존 방법들은 이러한 두 데이터 소스를 별도로 다루어 유용한 상호작용 기회를 놓치는 반면, 우리는 상호 향상을 가능하게 하는 관계적 패턴 일관성(Relational Pattern Consistency, RPC)을 제안한다. RPC는 소프트 ID/OOD 분해를 위해 One-vs-All 분류기를 사용한 뒤, 두 가지 메커니즘을 도입한다: (i) 기지 클래스(known class) 보존을 위해 의미적 행동 정렬(semantic behavioral alignment)을 전이하고, (ii) 범주 발견을 위해 동일 범주에 속한 샘플들이 기지 클래스 프로토타입과 불변적인 관계를 유지한다는 통찰을 활용하여, 신뢰할 수 없는 의사 레이블링(pseudo-labeling)을 잘 정의된 관계적 패턴 매칭으로 전환한다. 이러한 양방향 설계는 레이블이 있는 데이터가 레이블이 없는 데이터의 학습을 안내하는 동시에, 이들의 집합적 관계적 특징을 통해 새로운 범주를 발견할 수 있도록 한다. 광범위한 실험을 통해 RPC가 일반 벤치마크와 세밀한(fine-grained) 벤치마크 모두에서 최신 기술 수준(state-of-the-art)의 성능을 달성함을 입증한다.
비전 트랜스포머 백본의 고랭크 패치 토큰이 일반화 범주 발견(GCD)의 병목임을 지적하고, 학습 가능한 시각적 프리미티브의 저랭크 조합으로 토큰을 재구성하는 플러그 앤 플레이 모듈 CPF-GCD를 제안한다. CPF는 백본과 GCD 헤드 사이에 삽입되어 패치 토큰을 공유 프리미티브 필드로 재작성함으로써, 다양한 GCD 베이스라인에서 알려진 클래스와 새로운 클래스 모두에 대해 일관된 성능 향상을 달성한다.
일반화 범주 발견(GCD)은 레이블 없는 데이터에서 기존 범주를 분류하고 새로운 범주를 발견하는 것을 목표로 한다. 최근 멀티모달 접근법들은 검색되거나 합성된 텍스트를 듀얼-브랜치 아키텍처에 도입하여 시각적 특징을 보완하는 의미적 단서를 제공한다. 그러나 기존 듀얼-브랜치 방법의 크로스모달 시너지는 여전히 거칠고 불완전하다. 두 모달리티는 독립적으로 인코딩되며, 인코딩 과정에서 도출된 텍스트의 바이어스와 노이즈가 해결되지 않은 채 남아 있고, 기존 상호 학습 전략은 전역적인 클래스 수준 앵커에서만 작동하여 세밀한 관계적 감독이 부족하다. 이러한 한계를 해결하기 위해, GET 및 TextGCD와 같은 기존 듀얼-브랜치 방법과 호환되는 플러그 앤 플레이(plug-and-play) 향상으로 작동하는 시너지적 듀얼-브랜치 적응(SDBA) 프레임워크를 제안한다. SDBA는 두 가지 구성 요소로 이루어진다. 크로스모달 시너지 어댑터는 두 분기 모두에 경량 어댑터를 삽입하고, 각 인코더 층에서 텍스트 어댑터에 시각 정보를 추가로 주입하여 인코딩 중 텍스트 특징 학습을 향상시킨다. 이웃 상호 학습 모듈은 양방향 KL 발산(KL divergence)을 통해 두 분기 간 일관된 지역 이웃 분포를 강제하여, 기존 및 새로운 클래스 모두에 세밀한 관계적 감독을 제공한다. 6개 벤치마크에 대한 광범위한 실험은 최신(state-of-the-art) 성능을 보여주며, 다양한 베이스라인에서의 일관된 개선은 제안 프레임워크의 광범한 확장성을 검증한다.