일반화 가능한 파운데이션 모델 적응을 위한 확산 메타 프롬프팅 및 스티어링
Diffusion Meta-Prompting and Steering for Generalizable Foundation Model Adaptation
한국어 초록
프롬프트 학습(Prompt learning)은 파운데이션 모델(foundation model)을 적응시키는 널리 쓰이는 방법이지만, 학습된 프롬프트는 대개 특정 태스크에 국한되어 새로운 클래스, 도메인, 또는 태스크의 조합으로 일반화되지 못합니다. 본 논문에서는 확산 모델(diffusion model)을 사용하여 학습된 프롬프트의 분포를 모델링하는 프레임워크인 확산 메타 프롬프트(Diffusion Meta-Prompt, DMP) 모델을 소개합니다. 기존에 학습된 프롬프트 저장소가 주어지면, DMP는 원본 태스크 예시나 태스크 손실(task loss)에 접근하지 않고도 학습 및 샘플링되며, 자연어 태스크 설명을 조건으로 삼아 새로운 프롬프트를 합성합니다. 샘플링 안정성을 향상하기 위해, 당사는 DMP를 재학습하거나 테스트 클래스에 접근하지 않고도 확산 샘플링 중에 저장소 내 최적의 학습 선택 프롬프트를 잠재 앵커(latent anchor)로 사용하는 DMP용 테스트 타임 스티어링(test-time steering) 전략을 제안합니다. DMP는 분류(classification), 검색, 텍스트-이미지 생성 태스크 전반에서 일반화 성능을 향상시키며, 명시적인 학습 없이도 개념 조합과 네거티브 프롬프팅(negative prompting)을 지원합니다. 또한 프롬프트 검색 방식에 비해 스토리지 및 추론(inference) 비용을 90% 이상 절감합니다. 복합 분류에서 DMP는 55쌍의 데이터셋에 걸쳐 기존 메타러닝(meta-learning) 방식 대비 평균 최대 2.0%의 성능 향상을 달성하며, Eurosat 및 Flowers와 같은 특정 데이터셋 쌍에서는 최대 8.5%의 향상을 보입니다. DMP는 계층적 분류 태스크에서도 약 2~9%의 향상을 보이며 태스크 간 일반화 성능 역시 강화합니다. 나아가 당사는 DMP에서 샘플링된 프롬프트의 기대 태스크 손실을 제한하는 이론적 보장을 제공합니다. 코드는 https://github.com/DeepakSridhar/dmp 에서 제공됩니다.
원문 초록
Prompt learning is a popular method for adapting foundation models, but learned prompts are typically task-specific and fail to generalize to new classes, domains, or compositions of tasks. In this paper, we introduce a Diffusion Meta-Prompt (DMP) model , a framework that models the distribution of learned prompts using diffusion models. Given a repository of previously learned prompts, DMP is trained and sampled without access to the original task examples or task losses, and synthesizes new prompts conditioned on natural language task descriptions. To improve the sampling stability, we introduce a test-time steering strategy for DMP, which uses the best training-selected prompt in the repository as a latent anchor during diffusion sampling, without retraining the DMP or accessing test classes. DMP improves generalization across classification, retrieval and text-to-image generation tasks, supports concept composition and negative prompting without explicit training. It reduces storage and inference costs by over 90% compared to prompt retrieval methods. For composite classification, DMP achieves upto 2.0% average gain over prior meta-learning methods across 55 pairs of datasets with gains as high as 8.5% on specific pairs such as Eurosat and Flowers. DMP also enhances cross-task generalization with ~2-9% improvement for hierarchical classification task. We further provide a theoretical guarantee bounding the expected task loss of prompts sampled from a DMP. Code is available: https://github.com/DeepakSridhar/dmp
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Semantic Structure Enhanced Contrastive Adversarial Hash Network for Cross-media Representation Learning
DistilHuBERT를 활용한 악센트 분류 재고: 화자 분리 평가 및 말뭉치 간 일반화
Revisiting Accent Classification with DistilHuBERT: Speaker-Disjoint Evaluation and Cross-Corpus Generalization
최근 악센트 분류(accent classification) 시스템은 표준적인 코퍼스 내(in-corpus) 평가에서 높은 정확도를 달성할 수 있다. 그러나 학습 세트와 테스트 세트 간에 화자가 겹치는 경우, 이러한 결과는 실제 배포 시나리오와 비교하여 모델의 강건성(robustness)을 과대평가할 수 있다. 본 연구는 L2-ARCTIC과 여러 외부 영어 악센트 데이터셋을 활용하여 DistilHuBERT 기반 악센트 분류의 강건성을 재검토한다. 비교 대상에는 균형 잡힌 외부 데이터 학습(balanced external-data training) 및 교사-학생 의사 라벨링(teacher-student pseudo-labeling)과 더불어, 파일 단위(file-level) 분할 및 화자 분리(speaker-disjoint) 분할이 포함된다. 코퍼스 내 평가와 외부 평가 간의 큰 성능 격차는 파일 단위 평가가 성능을 상당히 과대평가하는 반면, 화자 분리 평가는 미확인 화자에 대한 일반화 성능을 보다 현실적으로 추정할 수 있음을 시사한다. 본 연구에서 외부 데이터만으로 학습된 모델은 L2-ARCTIC에 안정적으로 일반화되지 못했다. 테스트된 구성 중에서는 균형 잡힌 외부 데이터 학습이 가장 유망한 지도학습 설정을 제공한다. 나아가 의사 라벨링 실험은 도메인 불일치 상황에서 신뢰도 기반 필터링(confidence-based filtering)만으로는 불충분함을 보여준다. 전반적으로 본 연구는 강건한 악센트 분류 평가를 위해 화자 분리 평가와 말뭉치 간(cross-corpus) 테스트를 동시에 포함해야 함을 시사한다.
RARA: 로봇 조작을 위한 검색 고정 표상 정렬 기반의 강건한 정책 미세조정
RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation
비전-언어-행동(VLA, Vision-Language-Action) 모델과 같은 사전학습된 로봇 정책은 범용 로봇 조작을 위한 강력한 기반을 제공하지만, 소수의 시연(demonstration)만으로 이를 새로운 태스크에 적응시키는 것은 여전히 어렵습니다. 사전학습된 정책을 직접 미세조정(fine-tuning)하면 대개 강력한 분포 내(in-distribution) 성능을 달성할 수 있지만, 사전학습 중에 학습된 표상을 왜곡하여 분포 외(out-of-distribution) 변화에 대한 모델의 일반화 능력을 약화시킬 수 있습니다. 우리는 이러한 문제를 해결하기 위해 2단계 적응 방식인 검색 고정 표상 정렬(RARA, Retrieval-Anchored Representation Alignment)을 제안합니다. 첫째, RARA는 유사한 태스크 의도 및 동작을 가진 사전학습 시기의 표상 특징을 검색하고, 타깃 시연에 대한 정책의 표상을 검색된 시연의 사전학습된 표상과 정렬합니다. 둘째, RARA는 미세조정 과정에서 검색된 시연에 대한 정책 표상이 변화하는 정도를 제한하면서 타깃 시연에 대해 정책을 미세조정합니다. 행동 학습 전 표상 불일치를 줄이고 적응 과정에서 사전학습된 지식을 보존함으로써, RARA는 미세조정 중 불필요한 표상 표류(representation drift)를 제한합니다. RoboTwin, RoboCasa의 13개 태스크 및 실제 로봇에서 Diffusion Policy와 GR00T를 사용해 진행한 실험 결과, RARA는 미세조정의 평균 성공률을 분포 내에서 9.5%p, 분포 외에서 13.6%p 향상시켰으며 비교 대상이 된 모든 베이스라인을 능가함을 보여줍니다. 프로젝트 페이지: https://shua-kang.github.io/RARA_robot/
TabMF: 정형 데이터 파운데이션 모델을 활용한 데이터셋 표현 학습
TabMF: Learning Dataset Representations with Tabular Foundation Models
지도학습 데이터셋의 표현(representation)은 데이터셋 검색 및 분포 변화(distribution shift) 모니터링과 같은 상위 수준의 머신러닝 작업을 지원합니다. 그러나 기존 접근 방식은 일반적으로 수작업으로 설계된 메타 피처나 표현 학습만을 위해 특별히 학습된 데이터셋 인코더에 의존합니다. 본 논문에서는 사전학습된 정형 데이터 파운데이션 모델(TFM)을 지도학습 데이터셋의 인코더로 재활용하는 프레임워크인 TabMF를 소개합니다. TabMF는 예측형 TFM에 구조를 고려한 데이터셋 수준의 리드아웃(readout)을 장착하고, 합성 지도학습 데이터셋의 확률적 뷰(stochastic view)에 대한 대조 사후 학습(contrastive post-training)을 사용하여 모델을 엔드투엔드로 적응시킵니다. TabICLv2 및 TabPFN-2.5에 TabMF를 적용하고, 미확인 실제 데이터셋을 대상으로 6개 작업에 걸쳐 도출된 표현을 평가합니다. 가중치를 고정한(frozen) 단순 TFM 리드아웃만으로도 경쟁력 있는 표현이 생성되며, 이는 예측 사전학습이 이미 상당한 수준의 데이터셋 차원 구조를 유도함을 시사합니다. 두 가지 TabMF 인코더는 평가된 학습 기반 및 고전적 데이터셋 표현 중 가장 강력한 종합 성능을 달성했으며, 특히 데이터셋 검색, 압축 벤치마크 구축, 분포 변화 심각도 평가에서 뛰어난 성과를 보였습니다.
Jev 스타일 타입 기반 결정 모델에서 레이블이 정의를 압도하는 현상
Labels Override Definitions in Jev-Style Typed Decision Models
타입 기반 결정 모델(typed decision model)은 호출자가 정의한 여러 옵션 각각에 대한 확률을 반환함으로써 입력에 대한 고정된 질문에 답한다. 각 옵션은 짧은 레이블과 작성된 정의를 가지며, 개발자는 이 정의를 통해 모델이 적용해야 할 규칙을 명시한다. Jev는 라우팅, 모더레이션, 트리아지(triage)를 위해 이러한 인터페이스를 도입했고 오픈소스 구현들이 뒤따랐으며, 레이블 문자열의 점수를 매겨 언어 모델을 분류기로 사용할 때마다 동일한 연산이 발생한다. 본 연구에서는 가중치를 검사하고 수정할 수 있는 오픈소스 구현들을 연구하며, 그 확률이 정의를 따르는지 아니면 레이블을 따르는지 질문을 던진다. 레이블에 대한 선호를 옵션-레이블 바이어스(option-label bias)라고 부른다. 4개의 공개 가중치 타입 기반 결정 모델, Qwen2.5 백본에서 답을 읽어내는 3가지 방식, 11개의 분류 작업, 그리고 규칙이 정의에만 나타나는 자체 제작 합성 라우팅 벤치마크 제품군인 PolicyBench 전반에 걸쳐 답은 대부분 레이블을 따른다. 모든 정의를 삭제해도 정확도는 거의 변하지 않으며(laya-td: 0.8487 대비 0.8559, 비록 이 정의들만으로도 0.7971을 달성할 수 있음에도 불구하고), 옵션 이름을 A와 B로 변경하면 정확도가 +0.1511 [+0.1377, +0.1646] 상승한다. 한 시스템인 von은 영향을 받지 않는데, 두 코드베이스는 단 하나의 표현식에서 차이를 보인다. laya는 각 옵션을 "{label}: {definition}"으로 작성하는 반면, von은 정의만 작성한다. 가중치 변경 없이 해당 표현식을 양방향으로 변경하면 3개의 laya 체크포인트 모두 정확히 불변(+0.0000 [+0.0000, +0.0000])하게 되며, 레이블이 정의와 모순될 때 von에서는 정확도가 0.8511에서 0.2281로 떨어지는 효과가 발생한다. 선행 연구에서는 이러한 실패의 원인을 이 모델들이 텍스트 디코더 대신 사용하는 제약된 결정 헤드 탓으로 돌렸으나, 우리의 결과는 원인이 프롬프트 렌더링에 있음을 밝혀낸다. 우리는 실무자가 자신의 모델에 어떤 경우가 해당하는지 알 수 있게 해주는 2회 호출 테스트를 제시하고, 4가지 완화책의 효과를 측정한다.
AVSD-Scenes: 도시 장면의 오디오-비주얼 묘사를 위한 데이터셋
AVSD-Scenes: A Dataset for Audio-Visual Description of Urban Scenes
자연어 묘사는 오디오-비주얼(audio-visual) 도시 장면에 대한 풍부한 의미론적 표현을 제공할 수 있으나, 청각 및 시각 정보를 공동으로 묘사하는 데이터셋은 여전히 제한적입니다. 본 논문에서는 도시 환경을 위한 쌍을 이루는 오디오-비주얼 장면 묘사 데이터셋인 AVSD-Scenes를 소개합니다. 이 데이터셋은 TAU Urban Audio-Visual Scenes 데이터셋으로부터 생성된 12,291개의 오디오-비주얼 장면 묘사를 포함합니다. 데이터셋 구축을 위해, 먼저 Qwen2-Audio-7B와 Qwen2.5-VL-7B를 각각 사용하여 오디오 및 시각 기반 묘사를 생성합니다. 그런 다음 이러한 모달리티별 묘사를 대규모 언어 모델(LLM), 구체적으로 Qwen3-14B, Mistral-Small-3.2-24B-Instruct-2506, Gemma-3-27B-it을 활용하여 결합함으로써 두 모달리티의 상호보완적 정보를 포착하는 멀티모달 묘사를 생성합니다. 우리는 의미론적 정렬(semantic alignment), 크로스모달 검색(cross-modal retrieval), 장면 분류(scene classification), LLM-as-a-judge 평가, 인간 주관적 평가를 사용하여 AVSD-Scenes를 벤치마크합니다. 실험 결과, 멀티모달 묘사는 강력한 장면 식별 정보를 보존하면서도 모달리티별 묘사에 비해 의미론적 정렬 및 크로스모달 검색 성능을 향상시키는 것으로 나타났습니다. 생성된 묘사는 도시 장면 분류에서 최대 94.5%의 정확도를 달성하며, 오디오, 시각, 묘사 임베딩을 결합할 경우 정확도가 95.4%까지 추가로 향상됩니다. 나아가 프롬프트 지시사항에서 장면 레이블을 제거하더라도 묘사는 높은 장면 식별력을 유지하는데, 이는 묘사가 단순히 레이블 정보를 반영하기보다는 오디오-비주얼 콘텐츠로부터 파생된 의미론적 정보를 포착함을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted to NeurIPS 2026. Project page: https://deepaksridhar.github.io/dmp.github.io/. Code: https://github.com/DeepakSridhar/dmp