DFS: A Diverse Feature Synthesis Model for Generalized Zero-Shot Learning
원문 초록
Generative based strategy has shown great potential in the Generalized Zero-Shot Learning task. However, it suffers severe generalization problem due to lacking of feature diversity for unseen classes to train a good classifier. In this paper, we propose to enhance the generalizability of GZSL models via improving feature diversity of unseen classes. For this purpose, we present a novel Diverse Feature Synthesis (DFS) model. Different from prior works that solely utilize semantic knowledge in the generation process, DFS leverages visual knowledge with semantic one in a unified way, thus deriving class-specific diverse feature samples and leading to robust classifier for recognizing both seen and unseen classes in the testing phase. To simplify the learning, DFS represents visual and semantic knowledge in the aligned space, making it able to produce good feature samples with a low-complexity implementation. Accordingly, DFS is composed of two consecutive generators: an aligned feature generator, transferring semantic and visual representations into aligned features; a synthesized feature generator, producing diverse feature samples of unseen classes in the aligned space. We conduct comprehensive experiments to verify the efficacy of DFS. Results demonstrate its effectiveness to generate diverse features for unseen classes, leading to superior performance on multiple benchmarks. Code will be released upon acceptance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
소수 선호 최적화를 통한 자기 개선 확산 분류기
Self-Improving Diffusion Classifiers with Minority Preference Optimization
선행 연구들은 확산 분류기(diffusion classifier)가 강건한 제로샷 분류 성능을 달성함을 보여주었다. 그러나 그 효과는 사전학습 데이터 분포에 강하게 의존한다. 즉, 데이터 다양체의 다수(majority) 고밀도 영역에서는 잘 동작하지만, 소수(minority) 저밀도 영역에서는 정확도가 현저히 낮다. 소수 샘플링에 관한 기존 연구들은 소수와 유사한 이미지를 더 많이 생성하는 데 초점을 맞추었으나, 소수 샘플링이 생성 이외에 근본적으로 가능하게 하는 것은 충분히 탐구되지 않았다. 본 논문에서는 생성에서의 소수 샘플링과 확산 분류기의 인식 능력 사이의 직접적인 관계를 밝힌다. 구체적으로, 소수 샘플링을 강화하면 데이터 다양체에서 과소 표현된 영역의 커버리지가 넓어지고 이를 통해 확산 기반 인식이 향상됨을 보인다. 이 연결 관계를 활용하기 위해, 소수 선호 보상(minority preference reward)을 사용하여 사전학습된 확산 모델을 파인튜닝하는 MiPO(Self-Improving Diffusion Classifiers with Minority Preference Optimization)를 제안한다. MiPO는 임의의 캡션 데이터만을 사용하여 후보 샘플을 생성하고, 소수 영역을 더 잘 커버하는 샘플에 보상을 부여하며, 추가적인 이미지 데이터, 외부 파운데이션 모델, 또는 외부 보상 모델 없이 LoRA와 Group Relative Policy Optimization으로 모델을 최적화한다. 이를 통해 안정적이고 프롬프트 적응적인 소수 샘플링이 가능해지며, 저밀도 생성 커버리지가 향상된 제로샷 확산 분류로 이어진다. 요약하면, 본 논문은 확산 분류기의 인식이 다수 영역에 바이어스되어 있음을 보이고, 이 바이어스가 소수 선호 최적화를 통해 완화될 수 있음을 입증하며, 다섯 개의 표준 데이터셋에서 MiPO를 평가한다.
Multiple-Input Multiple-Output Fusion Network For Generalized Zero-Shot Learning
Zero-Shot Learning Based Approach For Medieval Word Recognition Using Deep-Learned Features
DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석
DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models
자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.
Promptable Concept Segmentation from Above: Evaluating Zero-Shot Textual and Visual Prompting of SAM 3 in Remote Sensing
입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구
Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study
토론
이 논문과 연결된 포럼 글이 아직 없습니다.