arXiv:1910.09057

Zero-Shot Recognition via Optimal Transport

Wenlin Wang, Hongteng Xu, Guoyin Wang, Wenqi Wang, Lawrence Carin

제출 2019-10-20

원문 초록

We propose an optimal transport (OT) framework for generalized zero-shot learning (GZSL), seeking to distinguish samples for both seen and unseen classes, with the assist of auxiliary attributes. The discrepancy between features and attributes is minimized by solving an optimal transport problem. {Specifically, we build a conditional generative model to generate features from seen-class attributes, and establish an optimal transport between the distribution of the generated features and that of the real features.} The generative model and the optimal transport are optimized iteratively with an attribute-based regularizer, that further enhances the discriminative power of the generated features. A classifier is learned based on the features generated for both the seen and unseen classes. In addition to generalized zero-shot learning, our framework is also applicable to standard and transductive ZSL problems. Experiments show that our optimal transport-based method outperforms state-of-the-art methods on several benchmark datasets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27110v2cs.CV공통 태그 Zero-Shot Learning, Attribute

Undertone: 소수의 평점으로 고정된 VLM 미적 판정기를 개인화하기

Undertone: Personalizing Frozen VLM Aesthetic Judges from Few Ratings

이미지 품질 평가는 평균 의견 점수(MOS)를 예측하지만, 이미지 미학에서는 평균이 개인을 가리므로 개인화된 평가는 새 사용자가 평가한 소수의 이미지에서 출발해야 한다. 평점 열 개로 각 사람을 처음부터 적합시키면 실패하며, 사람별로 파인튜닝한 네트워크는 새로운 종류의 이미지로 잘 전이되지 않는다. 본 논문은 Undertone-P를 제안한다. 이는 다른 평가자들로부터, 고정된 시각-언어 모델(VLM) 판정기의 판독값, 즉 확률 가중 평점과 점수 토큰에서의 은닉 상태에 대한 사람별 회귀 가중치의 가우시안 사전분포를 학습한다. 사람들이 군중과 다른 방식은 다른 평가자들이 드러내므로, 소수의 평점은 그 방식들 중 하나를 고르기만 하면 된다. 새 사용자에게는 닫힌 형태의 풀이 한 번이 필요할 뿐이며 네트워크는 학습되지 않는다. Ryu와 Yanaka의 PARA 벤치마크에서 사전분포만으로 스피어만 상관계수 .640에 도달하여, 기존에 발표된 최고의 10개 및 100개 평점 결과(.581 및 .620)를 상회하며, 사람의 평점 10개와 100개를 사용하면 각각 .648과 .676으로 상승한다. 이러한 평점은 취향이 군중과 다른 곳에서 가장 큰 이득을 준다. 평점 100개 기준으로 군중과 가장 덜 일치하는 평가자들에서는 +.067, LAPIS 미술 작품에서는 +.206이며 전체 평균은 +.037이다. 라벨 없이도 판정기의 기대 점수는 PARA의 MOS를 .835로 예측한다(우리가 실행한 발표 모델 중 최고: .694). PARA로 학습된 네트워크는 PARA의 원래 프로토콜에서는 여전히 앞서는데, 이는 더 강력한 종단 간 MOS 모델 때문일 가능성이 있다.

arXiv:2607.22919v1cs.CV공통 태그 Zero-Shot Learning, Attribute

텍스트 조건 변환을 통한 임베딩 공간 제어

Controlling Embedding Spaces with Text-Conditioned Transformations

CLIP과 같은 모델의 멀티모달 임베딩 공간은 의미적 유사도 검색 및 교차 모달 제로샷 분류와 같은 강력한 기능을 가능하게 한다. 이러한 임베딩은 고수준 의미를 단일 벡터로 압축하는데, 이는 주요 객체와 같은 지배적 의미를 주로 표현하면서 카메라 각도나 색조와 같은 다른 중요한 속성을 억제하는 대가를 치른다. 우리는 이러한 속성을 명시적으로 접근 가능하게 만드는 시각적 임베딩의 텍스트 조건 변환(text-conditioned transformation)을 제안한다. 속성 카테고리에 대한 자연어 설명(예: "색상" 또는 "예술 스타일")이 주어지면, 네트워크는 지정된 속성을 강조하는 아핀 변환(affine transformation)을 생성한다. 텍스트 조건화를 통해 많은 속성을 동시에 학습할 수 있으며, 추론 시 직관적인 인터페이스를 통해 이에 접근할 수 있다. 네트워크는 변환된 임베딩을 고정된 잠재 공간(latent space)과 정렬하도록 학습되어, 재인코딩 없이 기존 대규모 임베딩을 사용한 검색을 가능하게 한다. 전체 집합에 적용할 때, 동일한 메커니즘은 다중 클러스터링(multi-clustering)과 같은 속성 분리(attribute disentanglement) 작업을 위해 잠재 공간을 변환한다. 잠재 공간에서 직접 동작함으로써, 본 방법은 임베딩 공간을 제어하기 위한 통합적이고 효율적인 프레임워크를 제공하며, 거의 제로에 가까운 추론 비용으로 속성 기반 검색 및 다중 속성 조직화 작업 모두에서 최신(state-of-the-art) 성능을 보여준다. 프로젝트 페이지: https://joefioresi718.github.io/ControlEmbed_webpage/

arXiv:2607.12621v1cs.CV공통 태그 Zero-Shot Learning, Attribute

비전 없는 CIR을 향하여: 제로샷 구성 이미지 검색을 위한 속성 증강 스코어링과 LLM 기반 재순위화

Towards Vision-Free CIR: Attribute-Augmented Scoring and LLM-Based Reranking for Zero-Shot Composed Image Retrieval

최근 연구는 이미지를 텍스트로 표현하는 "비전 없는(Vision-Free)" 접근법이 표준 이미지 검색 작업에 효과적일 수 있음을 보여주었다. 그러나 텍스트 설명에 내재된 정보 손실로 인해, 이러한 패러다임이 보다 복잡한 멀티모달 과제인 구성 이미지 검색(Composed Image Retrieval, CIR)을 효과적으로 처리할 수 있는지는 아직 불분명하다. 본 논문에서는 두 가지 핵심 기법을 통해 이 과제를 해결하는 비전 없는 CIR 프레임워크를 제안한다: (1) 명시적 속성 매칭을 통해 손실된 시각적 세부 정보를 보완하는 속성 증강 하이브리드 스코어링(Attribute-Augmented Hybrid Scoring), (2) 상위 후보들의 의미적 일관성을 검증하는 LLM 기반 재순위화(LLM-Based Reranking). 오픈 도메인 CIRR 데이터셋에서의 실험은 우리 접근법이 기존 제로샷 CIR 방법들을 능가함을 보여준다(44.04% R@1, +8.79%). FashionIQ에서는 우리 결과가 의미적 추론과 세밀한 시각적 매칭 사이의 트레이드오프를 부각한다. 절제 연구는 속성 증강 스코어링과 LLM 기반 재순위화 모두가 일관되게 성능을 향상시킴을 보여준다.

arXiv:2607.03831v1cs.CV공통 태그 Zero-Shot Learning, Attribute

디퓨전 분류기는 어떻게 결정을 내리는가? 바이어스 중심 평가

How Do Diffusion Classifiers Decide? A Bias-Centric Evaluation

디퓨전 모델은 최근 제로샷 분류(zero-shot classification)에 재활용되고 있으며, 노이즈 예측 오차를 최소화하여 가장 적합한 텍스트 프롬프트를 식별하는 디퓨전 분류기가 등장하고 있다. 이러한 모델의 채택이 증가하고 있음에도 불구하고, 이 모델들이 어떻게 분류 결정을 내리는지는 여전히 제대로 이해되지 않고 있다. 우리는 속성 바인딩(Attribute binding), 크기-순서 바이어스(Size-Order bias), 배경 의존성(Background dependency)의 세 가지 차원에서 디퓨전 분류기를 평가하는 바이어스 평가 벤치마크 ASOB-Bench를 소개한다. 이 차원들은 완전한 분류 체계가 아니라, 텍스트 조건부 재구성 오차 점수가 어떻게 결정에 도달하는지를 탐색하는 표적화된 프로브로 기능한다. 이러한 관점은 판별적 비전-언어 모델에 대해서는 잘 연구되어 있지만, 디퓨전 분류기에 대해서는 여전히 간과되고 있다. 새로 구성된 데이터셋에서 다섯 가지 새로운 속성 범주로 기존 프레임워크를 확장한 결과, 디퓨전 분류기는 OpenCLIP 기준선보다 속성 오바인딩에 덜 취약하다는 것을 발견하였다. 기확립된 ComCo 벤치마크에서는 크기-순서 단축키에 실질적으로 더 취약하며, ImageNet-B에서는 훨씬 큰 정확도 하락을 보여 전경 단서보다 배경에 대한 과도한 의존성을 드러낸다. 재구성 오차 히트맵과 U-Net 교차 어텐션 시각화는 각 바이어스의 이면에 있는 메커니즘을 드러낸다. 디퓨전 분류기는 텍스트-이미지 모델과 동일한 디노이저를 공유하기 때문에, 이러한 단일 패스 진단은 생성 과정에서의 유사한 실패 모드도 시사한다. 전반적으로, 디퓨전 분류기는 비전-언어 모델과 구별되는 바이어스 프로파일을 나타내며, 더 강건한 디퓨전 기반 모델 구축을 위한 지침을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.