Transfer feature generating networks with semantic classes structure for zero-shot learning
원문 초록
Feature generating networks face to the most important question, which is the fitting difference (inconsistence) of the distribution between the generated feature and the real data. This inconsistence further influence the performance of the networks model, because training samples from seen classes is disjointed with testing samples from unseen classes in zero-shot learning (ZSL). In generalization zero-shot learning (GZSL), testing samples come from not only seen classes but also unseen classes for closer to the practical situation. Therefore, most of feature generating networks difficultly obtain satisfactory performance for the challenging GZSL by adversarial learning the distribution of semantic classes. To alleviate the negative influence of this inconsistence for ZSL and GZSL, transfer feature generating networks with semantic classes structure (TFGNSCS) is proposed to construct networks model for improving the performance of ZSL and GZSL. TFGNSCS can not only consider the semantic structure relationship between seen and unseen classes, but also learn the difference of generating features by transferring classification model information from seen to unseen classes in networks. The proposed method can integrate the transfer loss, the classification loss and the Wasserstein distance loss to generate enough CNN features, on which softmax classifiers are trained for ZSL and GZSL. Experiments demonstrate that the performance of TFGNSCS outperforms that of the state of the arts on four challenging datasets, which are CUB,FLO,SUN, AWA in GZSL.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공간 유전자 지도화를 통한 단일세포 생물학을 위한 비전 기반 모델
A vision foundation model for single-cell biology via spatial gene cartography
대부분의 단일세포 기반 모델은 언어 모델에서 파생되어 각 세포를 유전자 토큰의 시퀀스로 표현한다. 이는 유전자 간 관계와 종종 그 발현 크기를 버린다. 우리는 scVision을 제안한다. 이는 대신 각 세포를 연속 이미지로 렌더링하는 비전 기반 모델이다. 최적 수송(optimal transport)을 사용해 공발현 유전자가 공간적으로 이웃하도록 단일 공유·전조직(pan-tissue) 레이아웃의 고정 위치에 유전자를 배치하고, 전사체(transcriptome)를 유전자 프로그램이 국소 텍스처로 나타나는 이미지로 바꾼다. 7,200만 개의 인간 세포에 대해 마스크드 이미지 모델링(masked image modelling)으로 비전 트랜스포머를 사전학습하고, 미세조정 없이 고정된 인코더를 사용한다. 6개의 독립적 보류(hold-out) 연구에 대한 제로샷 평가에서 scVision은 가장 정확한 세포 유형 주석기이며, 감독 없이 유전자 프로그램을 복원해 기존 기반 모델과 고전적 베이스라인보다 앞선다. 다중 연구 통합에서는 배치 레이블을 한 번도 보지 않았음에도 가장 강력한 토큰 기반 모델과 맞먹는 성능을 내면서 가장 많은 생물학적 구조를 보존한다. 네트워크를 고정한 채 유전자 레이아웃을 치환하면 비전 트랜스포머 자체를 제거하는 것보다 정확도가 더 크게 떨어져, 신호를 담는 것은 네트워크가 아니라 생물학적으로 의미 있는 위치임을 보여준다. 발현 크기와 유전자 관계를 보존함으로써 scVision은 단일세포 표현 학습을 비전 문제로 재구성하여, 이를 컴퓨터 비전(CV)의 성숙한 방법들과 연결한다.
DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석
DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models
자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.
Promptable Concept Segmentation from Above: Evaluating Zero-Shot Textual and Visual Prompting of SAM 3 in Remote Sensing
입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구
Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
Undertone: Personalizing Frozen VLM Aesthetic Judges from Few Ratings
토론
이 논문과 연결된 포럼 글이 아직 없습니다.