arXiv:2402.00092

Episodic-free Task Selection for Few-shot Learning

Tao Zhang

제출 2024-01-31

원문 초록

Episodic training is a mainstream training strategy for few-shot learning. In few-shot scenarios, however, this strategy is often inferior to some non-episodic training strategy, e. g., Neighbourhood Component Analysis (NCA), which challenges the principle that training conditions must match testing conditions. Thus, a question is naturally asked: How to search for episodic-free tasks for better few-shot learning? In this work, we propose a novel meta-training framework beyond episodic training. In this framework, episodic tasks are not used directly for training, but for evaluating the effectiveness of some selected episodic-free tasks from a task set that are performed for training the meta-learners. The selection criterion is designed with the affinity, which measures the degree to which loss decreases when executing the target tasks after training with the selected tasks. In experiments, the training task set contains some promising types, e. g., contrastive learning and classification, and the target few-shot tasks are achieved with the nearest centroid classifiers on the miniImageNet, tiered-ImageNet and CIFAR-FS datasets. The experimental results demonstrate the effectiveness of our approach.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21529v2cs.CV공통 태그 Few-Shot Learning, Contrastive Learning

ElasticTTT: 사전 보존 테스트 시간 튜닝을 위한 비디오 편집

ElasticTTT: Prior-Preserving Test-Time Tuning for Video Editing

사전학습된 diffusion 모델에 대한 테스트 시간 튜닝(TTT)은 비디오 편집을 위한 강력한 패러다임으로 부상했다. 그러나 생성 모델의 분포 매핑 특성과 표준 TTT의 단일 점 최적화 사이에는 근본적인 불일치가 존재한다. 본 논문에서는 이러한 불일치가 Prior Collapse(사전 붕괴)를 유발함을 보인다. 이는 모델이 텍스트 조건과 공간 잠재 변수를 버리고, 생성 결과를 소스 비디오로 붕괴시키거나 서로 다른 영역의 특징을 얽어버리는 퇴화 상태이다. 이를 해결하기 위해, 사전 생성 분포를 보존하고 생성 탄성(generative elasticity)을 회복하는 새로운 프레임워크인 ElasticTTT를 제안한다. 구체적으로, 급격한 암기 최소점을 방지하기 위한 Target Distribution Regularization(목표 분포 정규화), 소스 편향에서 추론을 유도하기 위한 Contrastive CFG, 그리고 편집되지 않은 영역을 보존하기 위한 Asynchronous Noise Schedule(비동기 노이즈 스케줄)을 제안한다. 이론적 분석이 뒷받침하는 광범위한 평가를 통해, ElasticTTT가 베이스 모델의 생성 사전을 성공적으로 보존하며 원샷(one-shot) 비디오 편집에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.

arXiv:2607.12464v1cs.CV공통 태그 Few-Shot Learning, Contrastive Learning

클래스 대비 영향(Class-Contrastive Influence)을 이용한 확산 모델 조향을 통한 퓨샷 의료 분류

Steering Diffusion Models via Class-Contrastive Influence for Few-Shot Medical Classification

라벨이 붙은 데이터가 부족할 때, 기성 확산 모델은 퓨샷 의료 이미지 분류를 위한 학습 세트를 보강할 수 있지만, 생성된 모든 샘플이 하류 작업에 동등하게 유용한 것은 아니다. 기존 접근법은 대체로 사실성, 다양성 또는 도메인 적응을 높여 합성 데이터를 개선하는 데 집중하면서, 더 근본적인 질문을 간과한다: 분류를 위한 샘플 유용성은 어떻게 측정하고 최적화해야 하는가? 우리는 Class-Contrastive Influence(C2I)로 이를 해결한다. 이는 분류기에 대한 그래디언트 기반 영향을 통해 샘플 유용성을 정량화하는 기준이다. 효과적인 샘플은 강한 C2I 차이를 보인다: 해당 샘플의 손실 그래디언트는 동일 클래스의 검증 그래디언트와 정렬되고, 다른 클래스의 검증 그래디언트와는 상반된다. 우리의 분석은 추가로 이러한 고 C2I 샘플이 어렵고 경계 근접한 예시이며, 의사결정 경계를 정밀화하고 견고성을 향상하는 데 도움이 된다고 시사한다. 이 통찰을 바탕으로, C2I 기반 보상을 사용한 강화학습으로 확산 모델을 파인튜닝하여 생성이 클래스 정보를 담은 샘플 쪽으로 조향되도록 한다. 여러 퓨샷 의료 영상 벤치마크에서 C2I 기반 생성은 확산 기반 증강 기준선 대비 하류 정확도와 견고성을 향상시키며, 합성 증강은 이미지 품질만이 아니라 작업 유용성에 따라 안내될 때 가장 효과적임을 보여준다.

arXiv:2607.06185v1cs.CV공통 태그 Few-Shot Learning, Contrastive Learning

세밀한 이미지 인식을 위한 비전-언어 모델의 구조화-압축 프롬프트 튜닝

Structured-Condensed Prompt Tuning in Vision-Language Models for Fine-grained Image Recognition

세밀한 이미지 인식(fine-grained image recognition)은 수동 어노테이션에 상당한 전문성과 노력을 필요로 하기 때문에 중요한 과제이다. CLIP과 같은 비전-언어 모델(VLM)은 방대한 레이블 데이터에 대한 의존성을 줄여주는 설득력 있는 제로샷 대안을 제공한다. 그러나 이러한 모델들이 미묘한 차이를 포착하는 능력은 제한적이어서 인식 성능이 미흡하다. 프롬프트 튜닝은 VLM을 적응시키는 데 효과적임이 입증되었으나, 대부분의 기존 방법들은 클래스 레이블을 고립된 개별 개체로 취급하여 레이블 간의 풍부한 의미론적 관계를 간과한다. 이처럼 지나치게 단순화된 가정은 계층적 의존성과 클래스 간 상관관계를 포착하는 모델의 능력을 제한하며, 이 두 가지는 시각적으로 유사한 카테고리를 구별하는 데 핵심적이다. 이 문제는 정확한 인식이 복잡한 레이블 의미론 이해에 달려 있는 세밀한 분류에서 특히 심각하다. 이를 해결하기 위해, 우리는 프롬프트 학습에서 의미론적 구조 모델링을 강화하는 구조화-압축 프롬프트 튜닝(Structured-Condensed Prompt Tuning, SCPT)을 제안한다. 구체적으로, 클래스 간 의미론적 토폴로지를 명시적으로 모델링하고 구조화된 레이블 관계를 인코딩하기 위해 의미론적 관계 인코딩(Semantic Relation Encoding, SRE)을 도입한다. 이와 병행하여, 전역 의미 공간에서 중복 감독을 억제하고 판별적 구성 요소를 추출하기 위한 의미론적 압축 손실(Semantic Condensation loss, ScLoss)을 설계한다. 이 두 구성 요소는 함께 의미론적 정렬과 세밀한 판별 능력을 크게 향상시킨다. 14개의 세밀한 벤치마크에 대한 광범위한 실험을 통해 SCPT가 의미론적 모호성을 효과적으로 완화하고, 퓨샷 및 기본-신규 일반화(base-to-novel generalization) 설정 모두에서 최첨단 성능을 달성함을 보여준다.

arXiv:2607.11886v2cs.CV공통 태그 Contrastive Learning

Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.