PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10991v1cs.CV

세분화된 이미지 검색을 위한 영역 인지 CLS 토큰 증강

Region-Aware CLS Token Augmentation for Fine-Grained Image Retrieval

이미지 검색 방법은 종종 비전 트랜스포머의 [CLS] 토큰과 같이 이미지에서 추출된 단일 글로벌 의미 서술자(semantic descriptor)에 의존합니다. 그러나 이미지의 모든 의미 정보를 단일 서술자에 압축하려는 시도는 특히 세분화된(fine-grained) 검색 작업에서 다운스트림 검색 성능을 저하시킬 수 있습니다. 본 연구에서는 최신 비전 트랜스포머의 의미 토큰(글로벌 [CLS] 토큰 및 4개의 레지스터 토큰)을 신중하게 선택된 공간 토큰 집합으로 증강하여, 각 의미 토큰에 포착된 콘텐츠의 특성을 나타내는 공간 영역 표현을 포착하고자 합니다. 우리는 객체 및 부위 기반 표현을 창발적으로(emergently) 학습하는 레지스터 토큰이 포함된 DINOv2-reg 모델을 활용합니다. 각 "단서(cue)" 토큰([CLS] 및 각 레지스터 토큰)에 대해 "버디(buddy)" 이미지 패치 토큰을 찾고 N x N 패치 영역을 추출하여 일련의 국소화된 관심 영역(ROI) 토큰 집합을 생성합니다. 우리의 접근 방식은 외부 바운딩 박스나 현저성(saliency) 모듈 없이, 순수하게 의미 토큰을 공간 표현 영역과 매칭함으로써 중요한 관심 영역을 자동으로 포착합니다. 나아가 이러한 토큰들을 ColBERT에서 영감을 받은 다중 벡터 검색 프레임워크에 통합하여, 모든 패치 임베딩을 유지하는 막대한 저장 비용을 피하면서 토큰별 정렬(alignment) 메커니즘을 통한 세분화된 매칭을 가능하게 합니다. 광범위한 실험을 통해 우리는 다음을 발견했습니다: (1) 레지스터 토큰은 [CLS] 토큰을 보완할 수 있는 유용한 세분화된 세부 정보를 인코딩합니다. (2) 자동으로 풀링된 ROI 토큰은 세분화된 식별력을 더욱 향상시킵니다. (3) 소규모 토큰 집합을 사용한 다중 벡터 검색은 대규모 검색에서도 다루기 쉬운 수준을 유지하면서 DINOv2-reg 단일 벡터 기준선 대비 성능을 개선합니다. 코드는 https://github.com/IdhcbIan/Augmenting_CLS_with_ROI_tokens 에서 확인할 수 있습니다.

arXiv:2610.03698v1cs.CV

비전 트랜스포머에서 레지스터 및 고노름 패치 토큰의 기능적 역할 규명

Decoding the Functional Roles of Register and High-Norm Patch Tokens in Vision Transformers

DINOv2와 같은 자기지도학습 비전 트랜스포머(Vision Transformer, ViT)는 풍부한 시각적 표현을 학습하지만, 내부 토큰들의 기능은 여전히 명확히 이해되지 않고 있습니다. 최근 아키텍처들은 배경 영역에서 발생하는 고노름(high-norm) 이상치 패치 토큰을 줄이기 위해 전용 레지스터 토큰을 도입했으나, 두 토큰 유형 모두 의미적 및 기능적 역할이 완전히 규명되지 않았습니다. 본 논문에서는 DINOv2의 레지스터 토큰 및 이상치 토큰 활성화에 희소 오토인코더(SAE)를 학습시켜 이러한 역할들을 분석합니다. 자동화된 해석 가능성 파이프라인, UMAP 클러스터링, CLIP 공간 교차 검증을 통해 레지스터 토큰 특징이 고수준 의미론적 개념과 더 강하게 연관되어 있음을 발견했습니다. 반면 이상치 토큰 특징은 저수준의 구조적, 배경적 및 질감 위주의 패턴과 더 자주 연관됩니다. 나아가 인과적 절제(causal ablation) 실험은 상당한 기능적 비대칭성을 드러냅니다. 즉, 활성화가 가장 높은 레지스터 유래 특징을 교란하면 표현 코사인 유사도가 48.17% 감소하는 반면, 이상치 유래 특징을 교란하면 단 0.31%만 감소합니다. 종합적으로, 본 연구 결과는 자기지도학습 ViT에서 토큰 전문화(token specialization)의 증거를 제공합니다.

arXiv:2605.16147v2cs.CV

레지스터 토큰은 픽셀 공간 확산 트랜스포머에 중요하다

Registers Matter for Pixel-Space Diffusion Transformers

확산 트랜스포머(DiT)는 ViT와 달리 패치 토큰 이상값이 없음에도 불구하고 레지스터 토큰 추가 시 생성 품질이 향상되며, 특히 잠재 공간보다 픽셀 공간 DiT에서 효과가 크다는 것을 실험적으로 분석하였다. 이를 바탕으로 레지스터 토큰이 시각적 구조와 일관성 개선에 기여하는 방향을 증폭시키는 Register Guidance 기법을 제안하여 최신 픽셀 공간 DiT의 성능을 일관되게 향상시켰다.

arXiv:2606.12036v1cs.CV

얼굴 인식을 위한 비전 트랜스포머는 더 많은 레지스터가 필요하다

Vision Transformers for Face Recognition Need More Registers

얼굴 인식(FR)을 위한 비전 트랜스포머(ViT)의 최근 발전은 표준 CLS 토큰 패러다임을 넘어섰다. 이 패러다임에서는 특수한 분류 토큰(CLS)이 패치 임베딩 앞에 추가되어 다운스트림 태스크에서 입력의 표현으로 사용된다. 대안적 접근법인 연결 패치 임베딩(CPE, Concatenated Patch Embeddings)은 모든 패치 토큰을 단일 벡터로 연결한 후 이를 컴팩트한 얼굴 표현으로 투영하여 활용한다. CPE는 CLS 기반 방법에 비해 인식 성능을 향상시키는 것으로 입증되었으나, 어텐션 맵에 대한 정성적 분석에서 해석 가능성을 저해하는 아티팩트가 존재함을 확인하였다. 이 문제를 해결하기 위해, 우리는 초기 패치 임베딩에 연결되어 ViT 인코더 블록을 통해 함께 처리되는 학습 가능한 토큰인 레지스터 토큰을 도입한다. 이 메커니즘은 기준선 ViT에 비해 더 구조적이고 해석 가능한 어텐션 맵을 생성하는 것으로 알려져 있다. 우리는 소형 및 대형 모델을 포함한 다양한 ViT 백본에서 이러한 아티팩트가 일관되게 나타나며, 레지스터 토큰을 도입함으로써 이를 효과적으로 완화할 수 있음을 실험적으로 입증한다. 4개 또는 8개의 레지스터를 추가하면 해석 가능성이 크게 향상되며, 8개의 레지스터는 가장 높은 검증 정확도와 가장 매끄러운 어텐션 구조를 제공한다. 결과 모델인 ViT-8R은 8개의 레지스터 토큰으로 보강된 CPE 기반 ViT-B 아키텍처로, 대규모 IJB-B 및 IJB-C 벤치마크에서 ViT 기반 FR 모델 중 최첨단 성능을 달성한다. 또한 ViT-8R은 기준선 모델에 비해 훨씬 명확한 어텐션 맵을 생성하여 모델의 어텐션 동작에 대한 심층적인 통찰을 제공한다 (https://github.com/TaharChettaoui/ViT-FR-Registers).