arXiv:2606.31587v1 cs.SD

ZEBRA: Zero-Shot Entropy-Regularized Prompt Learning for Base-to-Novel Generalization in Audio-Language Models

Asif Hanif, Mohammad Yaqub

제출 2026-06-30

원문 초록

Audio-Language Models (ALMs) achieve strong zero-shot performance by aligning audio with textual class descriptions. Although prompt learning improves accuracy on base classes through few-shot supervised adaptation, we observe a critical trade-off: it often degrades performance on novel classes, sometimes falling below zero-shot accuracy. This exposes a base-to-novel generalization gap in prompt learning for ALMs. To address this issue, we propose \textbf{ZEBRA} (Zero-shot Entropy-Regularized Prompt Learning for Base-to-Novel Generalization), a plug-and-play framework that fuses zero-shot logits with prompt-learning logits, and employs self-entropy regularization to reduce overfitting to base classes. Experiments across multiple audio classification datasets show that ZEBRA consistently improves novel-class performance while maintaining strong base accuracy, significantly reducing the base-to-novel gap compared to standard prompt learning. The code is available at: https://github.com/asif-hanif/zebra.

요약

오디오-언어 모델(ALM)의 프롬프트 학습이 베이스 클래스 정확도를 높이는 대신 노벨 클래스 성능을 저하시키는 일반화 격차 문제를 해결하기 위해, ZEBRA는 제로샷 로짓 퓨전과 자기 엔트로피 정규화(self-entropy regularization)를 결합한 플러그앤플레이 프레임워크를 제안한다. 추가 학습 파라미터 없이 기존 프롬프트 학습 방법 위에 적용 가능하며, 다수의 오디오 분류 데이터셋 실험에서 베이스 클래스 성능을 유지하면서 노벨 클래스 성능을 일관되게 향상시켜 베이스-투-노벨 격차를 크게 줄였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.31587v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15757v1cs.CL공통 태그 Transfer Learning, Domain Generalization

저자원 언어 감성 분석에서의 제로샷 도메인 전이 향상: 마라티어 사례 연구

Enhancing Zero-Shot Domain Transfer in Low-Resource Sentiment Analysis: A Case Study in Marathi

감성 분석(sentiment analysis)은 텍스트 내 의견의 극성을 판별하는 자연어 처리(NLP)의 핵심 과제입니다. 마라티어와 같이 데이터가 제한되어 표준 통계적 방법론의 직접적인 적용이 어려운 저자원(low-resource) 언어의 경우, 모델은 주로 단일 도메인 데이터셋으로 학습됩니다. 이는 도메인 내(in-domain) 성능은 뛰어나지만, 보지 못한(unseen) 도메인에 대한 일반화 성능 저하로 이어집니다. 최근 연구들은 다중 도메인 모델링을 통해 다양한 실제 환경의 콘텐츠를 처리할 수 있는 도메인 견고형 시스템의 필요성을 강조하고 있습니다. 본 연구는 다중 도메인 학습이 보지 못한 마라티어 도메인에 대한 감성 분류를 어떻게 개선하는지 조사합니다. 모델은 단일 도메인, 2개 도메인 및 3개 도메인 데이터셋 조합을 사용하여 학습되었습니다. 실험 결과, 2개 도메인 학습은 단일 도메인 학습에 비해 보지 못한 도메인에 대한 정확도를 약 8% 향상시키는 것으로 나타났습니다. 세 번째 도메인을 추가하면 추가적인 개선이 이루어지지만, 그 증가 폭은 더 작아 일부 도메인에서는 평균 약 2% 수준이었습니다. 이러한 결과는 다중 도메인 데이터로 학습하는 것이 저자원 언어를 위한 더욱 견고한 감성 분석 모델을 구축하는 데 도움이 되지만, 도메인이 추가될수록 그 이득은 점차 줄어든다는 점을 시사합니다.

arXiv:2610.13440v1eess.AS공통 태그 Classification, Domain Generalization

DistilHuBERT를 활용한 악센트 분류 재고: 화자 분리 평가 및 말뭉치 간 일반화

Revisiting Accent Classification with DistilHuBERT: Speaker-Disjoint Evaluation and Cross-Corpus Generalization

최근 악센트 분류(accent classification) 시스템은 표준적인 코퍼스 내(in-corpus) 평가에서 높은 정확도를 달성할 수 있다. 그러나 학습 세트와 테스트 세트 간에 화자가 겹치는 경우, 이러한 결과는 실제 배포 시나리오와 비교하여 모델의 강건성(robustness)을 과대평가할 수 있다. 본 연구는 L2-ARCTIC과 여러 외부 영어 악센트 데이터셋을 활용하여 DistilHuBERT 기반 악센트 분류의 강건성을 재검토한다. 비교 대상에는 균형 잡힌 외부 데이터 학습(balanced external-data training) 및 교사-학생 의사 라벨링(teacher-student pseudo-labeling)과 더불어, 파일 단위(file-level) 분할 및 화자 분리(speaker-disjoint) 분할이 포함된다. 코퍼스 내 평가와 외부 평가 간의 큰 성능 격차는 파일 단위 평가가 성능을 상당히 과대평가하는 반면, 화자 분리 평가는 미확인 화자에 대한 일반화 성능을 보다 현실적으로 추정할 수 있음을 시사한다. 본 연구에서 외부 데이터만으로 학습된 모델은 L2-ARCTIC에 안정적으로 일반화되지 못했다. 테스트된 구성 중에서는 균형 잡힌 외부 데이터 학습이 가장 유망한 지도학습 설정을 제공한다. 나아가 의사 라벨링 실험은 도메인 불일치 상황에서 신뢰도 기반 필터링(confidence-based filtering)만으로는 불충분함을 보여준다. 전반적으로 본 연구는 강건한 악센트 분류 평가를 위해 화자 분리 평가와 말뭉치 간(cross-corpus) 테스트를 동시에 포함해야 함을 시사한다.

arXiv:2610.13578v1cs.RO공통 태그 Transfer Learning, Domain Generalization

RARA: 로봇 조작을 위한 검색 고정 표상 정렬 기반의 강건한 정책 미세조정

RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation

비전-언어-행동(VLA, Vision-Language-Action) 모델과 같은 사전학습된 로봇 정책은 범용 로봇 조작을 위한 강력한 기반을 제공하지만, 소수의 시연(demonstration)만으로 이를 새로운 태스크에 적응시키는 것은 여전히 어렵습니다. 사전학습된 정책을 직접 미세조정(fine-tuning)하면 대개 강력한 분포 내(in-distribution) 성능을 달성할 수 있지만, 사전학습 중에 학습된 표상을 왜곡하여 분포 외(out-of-distribution) 변화에 대한 모델의 일반화 능력을 약화시킬 수 있습니다. 우리는 이러한 문제를 해결하기 위해 2단계 적응 방식인 검색 고정 표상 정렬(RARA, Retrieval-Anchored Representation Alignment)을 제안합니다. 첫째, RARA는 유사한 태스크 의도 및 동작을 가진 사전학습 시기의 표상 특징을 검색하고, 타깃 시연에 대한 정책의 표상을 검색된 시연의 사전학습된 표상과 정렬합니다. 둘째, RARA는 미세조정 과정에서 검색된 시연에 대한 정책 표상이 변화하는 정도를 제한하면서 타깃 시연에 대해 정책을 미세조정합니다. 행동 학습 전 표상 불일치를 줄이고 적응 과정에서 사전학습된 지식을 보존함으로써, RARA는 미세조정 중 불필요한 표상 표류(representation drift)를 제한합니다. RoboTwin, RoboCasa의 13개 태스크 및 실제 로봇에서 Diffusion Policy와 GR00T를 사용해 진행한 실험 결과, RARA는 미세조정의 평균 성공률을 분포 내에서 9.5%p, 분포 외에서 13.6%p 향상시켰으며 비교 대상이 된 모든 베이스라인을 능가함을 보여줍니다. 프로젝트 페이지: https://shua-kang.github.io/RARA_robot/

arXiv:2610.11067v1cs.CV공통 태그 Classification, Domain Generalization

일반화 가능한 파운데이션 모델 적응을 위한 확산 메타 프롬프팅 및 스티어링

Diffusion Meta-Prompting and Steering for Generalizable Foundation Model Adaptation

프롬프트 학습(Prompt learning)은 파운데이션 모델(foundation model)을 적응시키는 널리 쓰이는 방법이지만, 학습된 프롬프트는 대개 특정 태스크에 국한되어 새로운 클래스, 도메인, 또는 태스크의 조합으로 일반화되지 못합니다. 본 논문에서는 확산 모델(diffusion model)을 사용하여 학습된 프롬프트의 분포를 모델링하는 프레임워크인 확산 메타 프롬프트(Diffusion Meta-Prompt, DMP) 모델을 소개합니다. 기존에 학습된 프롬프트 저장소가 주어지면, DMP는 원본 태스크 예시나 태스크 손실(task loss)에 접근하지 않고도 학습 및 샘플링되며, 자연어 태스크 설명을 조건으로 삼아 새로운 프롬프트를 합성합니다. 샘플링 안정성을 향상하기 위해, 당사는 DMP를 재학습하거나 테스트 클래스에 접근하지 않고도 확산 샘플링 중에 저장소 내 최적의 학습 선택 프롬프트를 잠재 앵커(latent anchor)로 사용하는 DMP용 테스트 타임 스티어링(test-time steering) 전략을 제안합니다. DMP는 분류(classification), 검색, 텍스트-이미지 생성 태스크 전반에서 일반화 성능을 향상시키며, 명시적인 학습 없이도 개념 조합과 네거티브 프롬프팅(negative prompting)을 지원합니다. 또한 프롬프트 검색 방식에 비해 스토리지 및 추론(inference) 비용을 90% 이상 절감합니다. 복합 분류에서 DMP는 55쌍의 데이터셋에 걸쳐 기존 메타러닝(meta-learning) 방식 대비 평균 최대 2.0%의 성능 향상을 달성하며, Eurosat 및 Flowers와 같은 특정 데이터셋 쌍에서는 최대 8.5%의 향상을 보입니다. DMP는 계층적 분류 태스크에서도 약 2~9%의 향상을 보이며 태스크 간 일반화 성능 역시 강화합니다. 나아가 당사는 DMP에서 샘플링된 프롬프트의 기대 태스크 손실을 제한하는 이론적 보장을 제공합니다. 코드는 https://github.com/DeepakSridhar/dmp 에서 제공됩니다.

arXiv:2609.39148v2cs.AI공통 태그 Transfer Learning, Domain Generalization

자기 진화형 기술은 미학습 태스크에도 일반화되는가?

Do Self-Evolving Skills Generalize to Held-Out Tasks?

AI 에이전트(agent)는 이전 태스크에서 학습한 내용을 절차, 체크리스트, 코드 또는 기타 실행 가능한 아티팩트와 같은 재사용 가능한 기술(skills)로 외재화하여 새로운 태스크를 해결할 때 검색 및 재사용할 수 있습니다. 자기 진화형 기술(self-evolving skill) 방법은 학습(training) 태스크에 대한 연습을 거칠 때마다 이러한 기술을 지속해서 다시 작성하며, 이후 동일한 종류의 새로운 태스크에 해당 기술을 활용합니다. 본 논문에서는 기술이 학습 태스크에서 보인 개선 효과가 새로운 테스트 태스크로도 이어지는가라는 질문을 던집니다. 저자들은 모든 방법에 동일한 모델(model), 동일한 에이전트, 동일한 학습/테스트 분할을 적용하여 6개 벤치마크에서 5가지 자기 진화 방법과 원샷(one-shot) 기술을 테스트했습니다. 학습 태스크에서 성능 향상을 보인 21개 기술 중 5개는 테스트 태스크에서도 그 개선 효과를 온전히 유지했고, 13개는 일부만 유지했으며, 3개는 전혀 유지하지 못했습니다. 모든 영역에서 가장 뛰어난 기존 방법은 없었습니다. 기술 내용을 분석한 결과, 일반화 성능이 낮은 기술들은 열 이름이나 출력 파일과 같이 태스크에 종속되어야 하는 세부 사항을 고정해 버리거나, 단일 실패에 대한 해결책을 모든 태스크를 위한 규칙으로 일반화하는 경우가 많았습니다. 기술 내용을 읽는 LLM 판정자(judge)는 이러한 점을 포착할 수 있어, 86%의 쌍에서 테스트 결과와 동일한 방식으로 완성된 기술들의 순위를 매겼습니다. 그러나 단일 수정의 영향은 제대로 예측하지 못하므로, 수정 사항은 여전히 직접 실행하여 테스트해야 합니다. 이러한 발견을 바탕으로 본 논문에서는 기술 작성 가이드만 유지하고 태스크마다 새로운 기술을 작성하는 일반화 가능한 기술 최적화(GSO, Generalizable Skill Optimization)를 제안하며, 이 방법은 6개 벤치마크 모두에서 가장 높은 점수를 기록했습니다.

arXiv:2610.02704v1cs.AI공통 태그 Classification, Few-Shot Learning

대규모 환경에서의 레이블 효율적 시계열 분류: 반사실적 귀속을 적용한 이중 스트림 OSSE-LSTM

Label-Efficient Time Series Classification at Scale: A Dual-Stream OSSE-LSTM with Counterfactual Attribution

시계열 데이터는 산업 장비, 웨어러블 기기, 전력망, 임상 모니터 등에서 엄청난 규모로 끊임없이 생성되지만, 주석 작업은 여전히 수작업에 의존하며 비용이 많이 들고 전문가를 필요로 합니다. 따라서 대규모 시계열 분석의 결정적인 병목은 데이터 양이 아니라 레이블의 양이며, 실무자가 마주하는 질문은 구체적입니다. 즉, 분류기가 실용성을 갖추려면 클래스당 몇 개의 예시에 레이블을 지정해야 하는가입니다. 본 연구에서는 레이블 공간이 고정되어 사전에 알려져 있으며, 클래스당 단 K개의 레이블된 예시만으로 결정 규칙을 구성해야 하는 조건에서 이 문제를 직접 탐구합니다. 우리는 데이터셋별 커널 튜닝 없이도 다중 스케일 모티프 추출을 수행하는 Squeeze-and-Excitation 재보정 결합 Omni-Scale CNN과, 전역적 시간적 맥락을 포착하는 양방향 LSTM을 결합한 에피소드식 메트릭 학습(metric learning) 프레임워크인 Dual-Stream OSSE-LSTM을 제안합니다. 두 스트림은 독립적으로 정규화된 후 프로토타입 지향 임베딩으로 융합됩니다. 또한 소수의 레이블로부터 도출된 결정은 설명 가능해야 하므로, 개별 분류기 로짓 대신 타깃 클래스와 반대 클래스 간의 프로토타입 마진을 귀속시키고 그 결과 맵을 인코더 업데이트 없이 테스트 시점 프로토타입 개선을 위한 소프트 마스크로 재사용하는 반사실적 통합 그래디언트(C-IG)를 도입합니다. 19개의 단변량 UCR 데이터셋에서 OSSE-LSTM은 모든 서포트 크기에서 가장 높은 평균 정확도와 데이터셋별 승수를 달성했으며, 해당 범위 전반에 걸쳐 정확도가 0.36%포인트 범위(96.36-96.72%) 내에서 안정적으로 유지되었습니다. 가장 낮은 성능의 구성조차 비교 대상 기준선 모델이 임의의 K에서 기록한 최고 결과(93.99%)를 상회합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.