arXiv:2112.12989

Domain-Aware Continual Zero-Shot Learning

Kai Yi, Paul Janson, Wenxuan Zhang, Mohamed Elhoseiny

제출 2021-12-24

원문 초록

Modern visual systems have a wide range of potential applications in vision tasks for natural science research, such as aiding in species discovery, monitoring animals in the wild, and so on. However, real-world vision tasks may experience changes in environmental conditions, leading to shifts in how captured images are presented. To address this issue, we introduce Domain-Aware Continual Zero-Shot Learning (DACZSL), a task to recognize images of unseen categories in continuously changing domains. Accordingly, we propose a Domain-Invariant Network (DIN) to learn factorized features for shifting domains and improved textual representation for unseen classes. DIN continually learns a global shared network for domain-invariant and task-invariant features, and per-task private networks for task-specific features. Furthermore, we enhance the dual network with class-wise learnable prompts to improve class-level text representation, thereby improving zero-shot prediction of future unseen classes. To evaluate DACZSL, we introduce two benchmarks, DomainNet-CZSL and iWildCam-CZSL. Our results show that DIN significantly outperforms existing baselines by over 5% in harmonic accuracy and over 1% in backward transfer and achieves a new SoTA.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27149v2cs.CV공통 태그 Disentanglement, Zero-Shot Learning

원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델

Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection

원격 탐사의 변화 탐지(Change Detection, CD)는 변화된 영역을 정확히 위치시키기 위해 이시점 문맥과 세밀한 공간적 세부 정보를 함께 모델링해야 한다. 밀집 어텐션은 이시점 관계를 효과적으로 포착하지만, 계산 비용 때문에 고해상도 영상으로의 확장성이 제한된다. 반면 기존의 특징 융합과 거친 디코딩은 실제 변화와 외형 변이를 구별하고 객체 경계를 보존하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 극복하기 위해, 우리는 시간적으로 구조화된 상태 공간 모델링과 로짓 공간 확산 정제를 통합한 프레임워크인 BMD-CD(Bitemporal Mamba-Diffusion for Change Detection)를 제안한다. BMD-CD는 먼저 심층 이시점 특징을 영역 토큰으로 변환하고 이를 명시적인 시간 분할로 조직하여 양방향 상태 공간 전파를 수행한다. 이어서 시간 정보를 통합하는 학습 가능한 삼각 융합(Learnable Trigonometric Fusion, LTF) 모듈과, 짧은 DDIM 스케줄로 로짓 공간에서 거친 예측을 정제하여 세밀한 고해상도 변화 지도를 생성하는 조건부 확산 디코더를 사용한다. LEVIR-CD, WHU-CD, DSIFN-CD, CDD, S2Looking에서의 광범위한 실험을 통해 제안 방법의 효과를 입증한다. BMD-CD는 WHU-CD, DSIFN-CD, LEVIR-CD, CDD에서 각각 0.923, 0.957, 0.882, 0.979의 IoU 점수를 달성하며, ValaisCD와 B-FLAIR-test에서도 강력한 제로샷 견고성을 보인다.

arXiv:2607.22919v1cs.CV공통 태그 Disentanglement, Zero-Shot Learning

텍스트 조건 변환을 통한 임베딩 공간 제어

Controlling Embedding Spaces with Text-Conditioned Transformations

CLIP과 같은 모델의 멀티모달 임베딩 공간은 의미적 유사도 검색 및 교차 모달 제로샷 분류와 같은 강력한 기능을 가능하게 한다. 이러한 임베딩은 고수준 의미를 단일 벡터로 압축하는데, 이는 주요 객체와 같은 지배적 의미를 주로 표현하면서 카메라 각도나 색조와 같은 다른 중요한 속성을 억제하는 대가를 치른다. 우리는 이러한 속성을 명시적으로 접근 가능하게 만드는 시각적 임베딩의 텍스트 조건 변환(text-conditioned transformation)을 제안한다. 속성 카테고리에 대한 자연어 설명(예: "색상" 또는 "예술 스타일")이 주어지면, 네트워크는 지정된 속성을 강조하는 아핀 변환(affine transformation)을 생성한다. 텍스트 조건화를 통해 많은 속성을 동시에 학습할 수 있으며, 추론 시 직관적인 인터페이스를 통해 이에 접근할 수 있다. 네트워크는 변환된 임베딩을 고정된 잠재 공간(latent space)과 정렬하도록 학습되어, 재인코딩 없이 기존 대규모 임베딩을 사용한 검색을 가능하게 한다. 전체 집합에 적용할 때, 동일한 메커니즘은 다중 클러스터링(multi-clustering)과 같은 속성 분리(attribute disentanglement) 작업을 위해 잠재 공간을 변환한다. 잠재 공간에서 직접 동작함으로써, 본 방법은 임베딩 공간을 제어하기 위한 통합적이고 효율적인 프레임워크를 제공하며, 거의 제로에 가까운 추론 비용으로 속성 기반 검색 및 다중 속성 조직화 작업 모두에서 최신(state-of-the-art) 성능을 보여준다. 프로젝트 페이지: https://joefioresi718.github.io/ControlEmbed_webpage/

arXiv:2607.22924v1cs.CV공통 태그 Disentanglement, Zero-Shot Learning

레이어링 가상 착용

Layering Virtual Try-On

실세계에서 패션은 레이어링에 관한 것이다. 셔츠 위에 재킷을 더하거나, 단일 층 교체가 아니라 층을 순차적으로 추가하고 제거하는 일이다. 이러한 근본적인 실세계 과제는 단일 층 교체에는 뛰어나지만, 기존 의상에 층을 더하거나 벗기도록 설계되지 않은 기존 가상 착용(VTON) 방법에서는 여전히 과제로 남아 있다. 본 논문은 기존 의상을 보존하면서 순차적 레이어링을 가능하게 하는 레이어링 벤치마크 및 방법인 Layering Virtual Try-On(LVTON)을 제안한다. 현재 VTON 패러다임은 cloth-agnostic 표현과 단일 아이템 데이터셋에 의존하여 필수적인 레이어링 맥락을 버리기 때문에 LVTON에 근본적으로 부적합함을 발견했다. 핵심 통찰은 LVTON 과제를 두 가지 별개의 역량으로 분리해야 한다는 것이다: (1) 일반 VTON 사전지식(예: 변형, 정체성 보존)과 (2) 특화 레이어링 지식(예: 레이어링 순서 및 가림(occlusion) 추론). 먼저, 우리 모델은 세그멘테이션(segmentation)과 인페인팅(inpainting)을 통해 패션 비디오로부터 샘플을 합성하는 자동 데이터 생성 파이프라인이 생산한 데이터로 학습하여 일반 VTON 사전지식을 얻는다. 둘째, 모델은 레이어링 논리를 학습하기 위해 소규모 전용 LVTON 데이터셋에서 파인튜닝(fine-tuning)된다. 우리 방법은 LVTON 벤치마크에서 최신(state-of-the-art) 결과를 달성하고, 전통적인 VTON 벤치마크에서 우수한 일반화 성능을 보여주며, 파인튜닝 시 새로운 최신 결과를 설정하고 제로샷(zero-shot) 능력을 나타낸다.

arXiv:2607.02601v1cs.CV공통 태그 Disentanglement, Zero-Shot Learning

CV-DCLR: 강건한 제로샷 학습을 위한 인과-시각 동적 레이블 정제

CV-DCLR: Causal-Visual Dynamic Label Refinement for Robust Zero-Shot Learning

제로샷 학습(Zero-Shot Learning, ZSL)은 공유 의미 공간을 통한 지식 전이를 가능하게 한다. 그러나 이 패러다임의 핵심 병목은 의미 얽힘(Semantic Entanglement)으로, 시각적 표현이 시각적으로 유사한 의미 개념과 필연적으로 혼재되는 현상이다. 예를 들어 늑대의 고유한 특성을 허스키와 공유되는 특징(feature)으로부터 구별하는 경우가 이에 해당한다. 기존의 전역 정렬 방법은 흔히 시각 모달리티와 의미 모달리티 간의 상관관계를 무분별하게 최대화함으로써, 모델(model)이 변별적 클래스 정체성을 포착하는 대신 허위 유사성에 과적합되도록 유도한다. 이 근본적인 한계를 해결하기 위해 우리는 인과-시각 동적 레이블 정제(Causal-Visual Dynamic Label Refinement, CV-DCLR) 프레임워크를 제안한다. CV-DCLR은 피상적인 시각 통계에 의존하는 기존 방법과 달리, 이중 스트림 상호 교정 메커니즘(Dual-Stream Mutual Correction Mechanism)을 통해 시각-의미 연관관계를 재조정한다. 이는 관측 패턴을 모델링하는 시각 가능도(Visual Likelihood) 스트림과, 반사실적 개입(Counterfactual Intervention)을 통해 후보 프로토타입의 구조적 필요성을 검증하는 인과 중요도(Causal Importance) 스트림으로 구성된다. 논리적 필터 역할을 하는 적응형 게이팅 메커니즘은 특징(feature) 응답을 동적으로 조절하여 진정한 인과적 특성을 증폭하고, 시각적으로는 그럴듯하지만 구조적으로 무관한 방해 요소를 억제한다. 엄격한 의미 얽힘 주입(Semantic Entanglement Injection) 프로토콜 하에서 CUB, SUN, AWA2 벤치마크에 대한 광범위한 실험 결과, CV-DCLR은 고모호성 시나리오에서 최신 방법들을 크게 능가함을 입증한다. 구체적으로, 기존 모델(model)들이 얽힘 하에서 치명적인 성능 저하를 겪는 반면, 우리의 프레임워크는 강건한 성능을 유지하며 의미적 혼동 요인으로부터 실제 클래스 정체성을 효과적으로 분리한다.

arXiv:2607.05171v2cs.CL공통 태그 Zero-Shot Learning

RABBiT: 뇌-튜닝을 통한 빠른 적응형 BOLD 기반 모델로 음성 유발 뇌 반응의 정확한 제로샷 및 퓨샷 예측

RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain

뇌에서의 언어 이해는 맥락 의존적이며, 실험 자극과 개인에 따라 달라지기 때문에 두 가지 모두에 걸쳐 일반화되는 계산 모델을 구축하기 어렵다. 이는 새로운 참가자와 입력에 효율적으로 적응하면서 공유 구조를 포착할 수 있는 언어 유발 뇌 활동의 기반 모델(foundation model)을 필요로 한다. 우리는 정확한 제로샷 및 퓨샷 예측을 위해 설계된 소형 오디오-fMRI 인코더인 RABBiT(Rapidly Adaptive BOLD foundation model via BraIn-Tuning)을 소개한다. 여러 미공개 fMRI 데이터셋에서 324명의 참가자를 대상으로 한 종합적인 평가에 따르면, RABBiT은 청각 및 언어 선택 영역에 걸쳐 자연 음성에 대한 fMRI 반응의 정확한 제로샷 예측을 가능하게 하며, fMRI를 위한 SOTA 기반 모델과 집단 평균 기반 예측을 능가한다. 참가자별 데이터 10분만으로도 RABBiT은 매개변수 효율적 튜닝을 통해 성능을 더욱 향상시키며, 참가자별 선형 모델을 크게 능가한다. RABBiT의 성능은 두 가지 핵심 혁신에 의해 구현된다: (1) 학습된 영역별 어텐션, (2) 뇌-튜닝된 음성 백본과 결합된, 뇌 반응을 공유 및 피험자별 구성 요소로 분해하는 방법. 강력한 예측 정확도를 지원하는 것 외에도, RABBiT이 학습하는 구조화된 영역별 표현은 해석 가능성을 제공한다. 광범위한 참가자별 데이터와 모델 피팅의 필요성을 제거함으로써, RABBiT은 인간 뇌에서의 언어에 대한 확장 가능한 집단 수준 분석을 가능하게 한다. 코드는 https://github.com/bridge-ai-neuro/rabbit 에서 제공된다.

arXiv:2609.07780v3cs.CV공통 태그 Zero-Shot Learning

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.