arXiv:2404.16717

Embracing Diversity: Interpretable Zero-shot classification beyond one vector per class

Mazda Moayeri, Michael Rabbat, Mark Ibrahim, Diane Bouchacourt

제출 2024-04-25

원문 초록

Vision-language models enable open-world classification of objects without the need for any retraining. While this zero-shot paradigm marks a significant advance, even today's best models exhibit skewed performance when objects are dissimilar from their typical depiction. Real world objects such as pears appear in a variety of forms -- from diced to whole, on a table or in a bowl -- yet standard VLM classifiers map all instances of a class to a \it{single vector based on the class label}. We argue that to represent this rich diversity within a class, zero-shot classification should move beyond a single vector. We propose a method to encode and account for diversity within a class using inferred attributes, still in the zero-shot setting without retraining. We find our method consistently outperforms standard zero-shot classification over a large suite of datasets encompassing hierarchies, diverse object states, and real-world geographic diversity, as well finer-grained datasets where intra-class diversity may be less prevalent. Importantly, our method is inherently interpretable, offering faithful explanations for each inference to facilitate model debugging and enhance transparency. We also find our method scales efficiently to a large number of attributes to account for diversity -- leading to more accurate predictions for atypical instances. Finally, we characterize a principled trade-off between overall and worst class accuracy, which can be tuned via a hyperparameter of our method. We hope this work spurs further research into the promise of zero-shot classification beyond a single class vector for capturing diversity in the world, and building transparent AI systems without compromising performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.03770v1cs.CV공통 태그 Zero-Shot Learning, Diversity

소수 선호 최적화를 통한 자기 개선 확산 분류기

Self-Improving Diffusion Classifiers with Minority Preference Optimization

선행 연구들은 확산 분류기(diffusion classifier)가 강건한 제로샷 분류 성능을 달성함을 보여주었다. 그러나 그 효과는 사전학습 데이터 분포에 강하게 의존한다. 즉, 데이터 다양체의 다수(majority) 고밀도 영역에서는 잘 동작하지만, 소수(minority) 저밀도 영역에서는 정확도가 현저히 낮다. 소수 샘플링에 관한 기존 연구들은 소수와 유사한 이미지를 더 많이 생성하는 데 초점을 맞추었으나, 소수 샘플링이 생성 이외에 근본적으로 가능하게 하는 것은 충분히 탐구되지 않았다. 본 논문에서는 생성에서의 소수 샘플링과 확산 분류기의 인식 능력 사이의 직접적인 관계를 밝힌다. 구체적으로, 소수 샘플링을 강화하면 데이터 다양체에서 과소 표현된 영역의 커버리지가 넓어지고 이를 통해 확산 기반 인식이 향상됨을 보인다. 이 연결 관계를 활용하기 위해, 소수 선호 보상(minority preference reward)을 사용하여 사전학습된 확산 모델을 파인튜닝하는 MiPO(Self-Improving Diffusion Classifiers with Minority Preference Optimization)를 제안한다. MiPO는 임의의 캡션 데이터만을 사용하여 후보 샘플을 생성하고, 소수 영역을 더 잘 커버하는 샘플에 보상을 부여하며, 추가적인 이미지 데이터, 외부 파운데이션 모델, 또는 외부 보상 모델 없이 LoRA와 Group Relative Policy Optimization으로 모델을 최적화한다. 이를 통해 안정적이고 프롬프트 적응적인 소수 샘플링이 가능해지며, 저밀도 생성 커버리지가 향상된 제로샷 확산 분류로 이어진다. 요약하면, 본 논문은 확산 분류기의 인식이 다수 영역에 바이어스되어 있음을 보이고, 이 바이어스가 소수 선호 최적화를 통해 완화될 수 있음을 입증하며, 다섯 개의 표준 데이터셋에서 MiPO를 평가한다.

arXiv:2609.07780v3cs.CV공통 태그 Zero-Shot Learning

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.