All the attention you need: Global-local, spatial-channel attention for image retrieval
원문 초록
We address representation learning for large-scale instance-level image retrieval. Apart from backbone, training pipelines and loss functions, popular approaches have focused on different spatial pooling and attention mechanisms, which are at the core of learning a powerful global image representation. There are different forms of attention according to the interaction of elements of the feature tensor (local and global) and the dimensions where it is applied (spatial and channel). Unfortunately, each study addresses only one or two forms of attention and applies it to different problems like classification, detection or retrieval. We present global-local attention module (GLAM), which is attached at the end of a backbone network and incorporates all four forms of attention: local and global, spatial and channel. We obtain a new feature tensor and, by spatial pooling, we learn a powerful embedding for image retrieval. Focusing on global descriptors, we provide empirical evidence of the interaction of all forms of attention and improve the state of the art on standard benchmarks.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
크로스뷰 지오로컬라이제이션에서 뷰 변화에 대응하는 전체적 장면 레이아웃 학습
Learning Holistic Scene Layout against View Shifts in Cross-View Geo-Localization
크로스뷰 지오로컬라이제이션(cross-view geo-localization)은 시점 변화로 인한 극심한 외형 변화와 기하학적 왜곡 때문에 여전히 어려운 과제이다. 기존 방법들은 주로 판별적 특징(feature) 학습이나 명시적인 기하학적 정렬에 의존하지만, 중요한 관찰 하나를 간과하는 경우가 많다: 인간은 고립된 지역적(local) 시각적 단서에만 의존하기보다 여러 랜드마크의 공간적 맥락(spatial context)을 통합하여 장면을 매칭하는 경향이 있다는 것이다. 이에 착안하여, 우리는 특징 맵(feature map)을 네 개의 직교하는 방향을 따라 순회하며 각 공간적 위치에서 결과로 얻어진 방향별 표현(directional representation) 간의 상호작용을 모델링하는 공간 맥락 모델링(Spatial Context Modeling, SCM) 모듈을 제안한다. 상호 보완적인 방향별 관찰들을 집계함으로써, SCM은 더 풍부한 장면 레이아웃 표현을 구성한다. 신뢰할 수 있는 공간적 맥락은 견고한 시각적 특징에 의존하기 때문에, 우리는 주파수 영역(frequency domain)에서 안정적인 구조적 단서를 추출하는 고주파 정보 안내(High-Frequency Information Guidance, HFIG) 모듈을 도입한다. 외형 변화에 덜 민감한 에지(edge)와 윤곽(contour)을 강조함으로써, HFIG는 모델이 더 견고한 표현을 학습하도록 유도한다. 광범위한 실험을 통해 우리의 방법이 표준 크로스뷰 지오로컬라이제이션 벤치마크에서 경쟁력 있는 성능을 달성하면서도, 방향(orientation)을 알 수 없고 시야각(field of view, FoV)이 제한된 더 어려운 시나리오에서 강한 견고성을 보인다는 것을 입증한다.
RARA: 로봇 조작을 위한 검색 고정 표상 정렬 기반의 강건한 정책 미세조정
RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation
비전-언어-행동(VLA, Vision-Language-Action) 모델과 같은 사전학습된 로봇 정책은 범용 로봇 조작을 위한 강력한 기반을 제공하지만, 소수의 시연(demonstration)만으로 이를 새로운 태스크에 적응시키는 것은 여전히 어렵습니다. 사전학습된 정책을 직접 미세조정(fine-tuning)하면 대개 강력한 분포 내(in-distribution) 성능을 달성할 수 있지만, 사전학습 중에 학습된 표상을 왜곡하여 분포 외(out-of-distribution) 변화에 대한 모델의 일반화 능력을 약화시킬 수 있습니다. 우리는 이러한 문제를 해결하기 위해 2단계 적응 방식인 검색 고정 표상 정렬(RARA, Retrieval-Anchored Representation Alignment)을 제안합니다. 첫째, RARA는 유사한 태스크 의도 및 동작을 가진 사전학습 시기의 표상 특징을 검색하고, 타깃 시연에 대한 정책의 표상을 검색된 시연의 사전학습된 표상과 정렬합니다. 둘째, RARA는 미세조정 과정에서 검색된 시연에 대한 정책 표상이 변화하는 정도를 제한하면서 타깃 시연에 대해 정책을 미세조정합니다. 행동 학습 전 표상 불일치를 줄이고 적응 과정에서 사전학습된 지식을 보존함으로써, RARA는 미세조정 중 불필요한 표상 표류(representation drift)를 제한합니다. RoboTwin, RoboCasa의 13개 태스크 및 실제 로봇에서 Diffusion Policy와 GR00T를 사용해 진행한 실험 결과, RARA는 미세조정의 평균 성공률을 분포 내에서 9.5%p, 분포 외에서 13.6%p 향상시켰으며 비교 대상이 된 모든 베이스라인을 능가함을 보여줍니다. 프로젝트 페이지: https://shua-kang.github.io/RARA_robot/
TabMF: 정형 데이터 파운데이션 모델을 활용한 데이터셋 표현 학습
TabMF: Learning Dataset Representations with Tabular Foundation Models
지도학습 데이터셋의 표현(representation)은 데이터셋 검색 및 분포 변화(distribution shift) 모니터링과 같은 상위 수준의 머신러닝 작업을 지원합니다. 그러나 기존 접근 방식은 일반적으로 수작업으로 설계된 메타 피처나 표현 학습만을 위해 특별히 학습된 데이터셋 인코더에 의존합니다. 본 논문에서는 사전학습된 정형 데이터 파운데이션 모델(TFM)을 지도학습 데이터셋의 인코더로 재활용하는 프레임워크인 TabMF를 소개합니다. TabMF는 예측형 TFM에 구조를 고려한 데이터셋 수준의 리드아웃(readout)을 장착하고, 합성 지도학습 데이터셋의 확률적 뷰(stochastic view)에 대한 대조 사후 학습(contrastive post-training)을 사용하여 모델을 엔드투엔드로 적응시킵니다. TabICLv2 및 TabPFN-2.5에 TabMF를 적용하고, 미확인 실제 데이터셋을 대상으로 6개 작업에 걸쳐 도출된 표현을 평가합니다. 가중치를 고정한(frozen) 단순 TFM 리드아웃만으로도 경쟁력 있는 표현이 생성되며, 이는 예측 사전학습이 이미 상당한 수준의 데이터셋 차원 구조를 유도함을 시사합니다. 두 가지 TabMF 인코더는 평가된 학습 기반 및 고전적 데이터셋 표현 중 가장 강력한 종합 성능을 달성했으며, 특히 데이터셋 검색, 압축 벤치마크 구축, 분포 변화 심각도 평가에서 뛰어난 성과를 보였습니다.
PXtal: 모달리티 간 정보 비대칭 환경에서 분말 X선 회절과 결정 구조의 정렬 학습
PXtal: Learning to Align Powder X-Ray Diffraction and Crystal Structures under Information Asymmetry across Modalities
과학 분야의 멀티모달 학습(multimodal learning)은 일반적으로 쌍을 이루는 뷰들이 비슷한 수준의 정보를 담고 있다고 가정합니다. 분말 X선 회절(PXRD)은 이러한 불일치를 명확히 드러냅니다. 즉, 3차원 결정 구조를 1차원 회절 패턴으로 압축하면서 정보가 손실되어, 해당 패턴을 생성한 결정 구조와 연결하기가 더 어려워집니다. 본 연구에서는 이러한 물리적으로 부과된 정보 비대칭 환경에서 정렬된 PXRD 및 결정 표현을 학습하기 위한 프레임워크인 PXtal을 소개합니다. PXtal은 불균형 최적 수송(UOT)을 사용하여 모달리티 간 결합(coupling)을 조정하고, 결합 수준의 일반화된 쿨백-라이블러(GKL) 발산을 활용하여 전체 수송 계획을 지도합니다. 4개의 제로샷(zero-shot) 전이 세트를 포함한 6개의 테스트 세트 전반에서, PXtal은 PXRD-결정 후보 검색 작업 시 기준선(baseline) 모델들의 성능을 일관되게 능가하며, 특히 PXRD 패턴이 결정학적으로는 구별되지만 서로 매우 유사한 비쌍(nonpaired) 이웃을 가질 때, 즉 서로 다른 결정과 연관된 유사한 입력 패턴이 존재할 때 가장 큰 성능 향상을 보였습니다. 그 결과 도출된 결정 및 PXRD 인코더는 다운스트림 재료 및 결정학 작업으로 더욱 효과적으로 전이됩니다. 이러한 결과는 정보 비대칭이 과학 분야 멀티모달 학습에서의 일반적인 설계 문제임을 확인해 주며, 정렬 목표는 각 모달리티가 보존하는 정보를 반영해야 함을 시사합니다.
세분화된 이미지 검색을 위한 영역 인지 CLS 토큰 증강
Region-Aware CLS Token Augmentation for Fine-Grained Image Retrieval
이미지 검색 방법은 종종 비전 트랜스포머의 [CLS] 토큰과 같이 이미지에서 추출된 단일 글로벌 의미 서술자(semantic descriptor)에 의존합니다. 그러나 이미지의 모든 의미 정보를 단일 서술자에 압축하려는 시도는 특히 세분화된(fine-grained) 검색 작업에서 다운스트림 검색 성능을 저하시킬 수 있습니다. 본 연구에서는 최신 비전 트랜스포머의 의미 토큰(글로벌 [CLS] 토큰 및 4개의 레지스터 토큰)을 신중하게 선택된 공간 토큰 집합으로 증강하여, 각 의미 토큰에 포착된 콘텐츠의 특성을 나타내는 공간 영역 표현을 포착하고자 합니다. 우리는 객체 및 부위 기반 표현을 창발적으로(emergently) 학습하는 레지스터 토큰이 포함된 DINOv2-reg 모델을 활용합니다. 각 "단서(cue)" 토큰([CLS] 및 각 레지스터 토큰)에 대해 "버디(buddy)" 이미지 패치 토큰을 찾고 N x N 패치 영역을 추출하여 일련의 국소화된 관심 영역(ROI) 토큰 집합을 생성합니다. 우리의 접근 방식은 외부 바운딩 박스나 현저성(saliency) 모듈 없이, 순수하게 의미 토큰을 공간 표현 영역과 매칭함으로써 중요한 관심 영역을 자동으로 포착합니다. 나아가 이러한 토큰들을 ColBERT에서 영감을 받은 다중 벡터 검색 프레임워크에 통합하여, 모든 패치 임베딩을 유지하는 막대한 저장 비용을 피하면서 토큰별 정렬(alignment) 메커니즘을 통한 세분화된 매칭을 가능하게 합니다. 광범위한 실험을 통해 우리는 다음을 발견했습니다: (1) 레지스터 토큰은 [CLS] 토큰을 보완할 수 있는 유용한 세분화된 세부 정보를 인코딩합니다. (2) 자동으로 풀링된 ROI 토큰은 세분화된 식별력을 더욱 향상시킵니다. (3) 소규모 토큰 집합을 사용한 다중 벡터 검색은 대규모 검색에서도 다루기 쉬운 수준을 유지하면서 DINOv2-reg 단일 벡터 기준선 대비 성능을 개선합니다. 코드는 https://github.com/IdhcbIan/Augmenting_CLS_with_ROI_tokens 에서 확인할 수 있습니다.
RPA: EEG 및 MEG 기반 이미지 검색을 위한 잔차 패치-토큰 어댑터
RPA: Residual Patch-Token Adapter for Image Retrieval from EEG and MEG
기존의 대다수 MEG 및 EEG(M/EEG) 시각 디코딩 방식은 뇌 신호를 사전학습된 시각 인코더에서 추출한 단일 글로벌 임베딩과 정렬(alignment)하므로, 더 풍부하고 세분화된 시각 정보를 보존하는 중간 패치 표현이 표현 학습(representation learning)을 향상시킬 수 있는지는 미지의 영역으로 남아 있었습니다. 이러한 의문을 해결하기 위해, 본 논문에서는 정렬을 위해 ViT 시각 인코더 중간 층의 모든 패치 토큰을 활용하는 경량 모듈형 어댑터인 RPA(Residual Patch Adapter)를 제안합니다. 광범위한 소거 연구(ablation study)를 통해, 먼저 패치 토큰을 풀링하거나 마스킹하면 학습된 표현의 성능이 저하됨을 확인하였으며, 이는 패치 토큰 전체를 유지하는 것이 EEG 정렬에 중요하고 CLS 토큰은 고유한 정보를 거의 제공하지 못함을 보여줍니다. 이어서 일련의 6가지 정량적 특징 분석을 통해, 색상 및 질감을 포함한 저수준 시각 특징과 고수준 의미론적 정보 모두가 이러한 EEG-이미지 정렬에 필수적임을 밝힙니다. 현재의 프로토콜 기준, 본 시스템은 THINGS-EEG2 데이터셋에서 피험자 내(within-subject) 95.4%, 피험자 간(cross-subject) 35.5%의 Top-1 정확도를 기록하고, THINGS-MEG 데이터셋에서는 각각 65.2%와 6.7%를 기록하여 두 데이터셋 모두에서 최고 성능(SOTA)을 달성했습니다. 사전학습된 EEG 파운데이션 모델을 비롯한 대안적 뇌 인코더를 활용한 평가는 본 접근법이 단순 투영 기반 EEG 인코더를 넘어 확장될 수 있음을 보여줍니다. 나아가, RPA를 합성곱, 어텐션 또는 ConvNeXt 대안 구조로 교체할 수 있는 플러그 앤 플레이 인터페이스를 제공합니다. 종합적으로 이러한 결과는 시각 인코더의 잠재 공간(latent space)을 활용하기 위한 설계 원칙을 정립함으로써 M/EEG-이미지 표현 학습에 대한 중요한 통찰을 제시하며, 뇌-이미지 정렬 및 비침습적 뇌-컴퓨터 인터페이스(BCI)를 위한 새로운 방향을 제시합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.