협력 인식(Collaborative Perception, CP) 에이전트 간 이종성은 서로 다른 센서, 아키텍처, 학습 데이터로 인한 도메인 격차 때문에 신흥 CP 프레임워크의 주요 과제이다. 선행 연구는 모델 재학습이나 에이전트 유형별 해석기를 통해 통합 공간에서 특징을 정렬하는 방식으로 이 과제를 완화한다. 이러한 전략은 (a) 이웃 구성에 대한 접근을 요구하고, (b) 실시간 CP 배포를 완전히 다루지 못하며, (c) 실행 시점에 새로 합류하는 보지 못한 에이전트에 대해 일반화가 취약하다. 이러한 과제를 극복하기 위해, 우리는 익명·실시간·경량 이종 CP를 위한 프롬프트-임베딩(Prompt-Embedding) 프레임워크 PEARL을 제안한다. PEARL은 여러 CP 해석기를 지원하며, 병렬로 학습된 두 개의 경량 다중 스케일 해석기를 사용해 새로 합류하는 에이전트에 대해 실시간으로 하나를 선택한다: 협력 검출을 위해 현저한 영역을 정렬하는 희소 검출(LWSD) 해석기,와 빠른 해석기 선택을 위해 에이전트 불변 특징을 생성하는 밀집·도메인 불변(LWDDI) 해석기. 두 해석기 모두 저랭크(low-rank) 시각 프롬프트를 사용해 연산, 저장, 모델 복잡도를 줄인다. 시뮬레이션(OPV2V, V2XSet) 및 실측(DAIR-V2X) 데이터셋에 대한 광범위한 실험은 PEARL이 시뮬레이션과 실세계 협력 주행 시나리오 전반에서 일반화됨을 보여준다. 실시간 모델 선택 전략은 무작위 선택 기준선 대비 평균 정밀도(Average Precision, AP) 8.2% 향상을 달성하며, 평균 1.67 ms에서 동작한다. PEARL은 주로 실시간 CP를 위해 설계되었지만, 전통적인 오프라인 학습에서도 최신 이종 CP 프레임워크를 평균 5.6% AP만큼 능가하며 통신 비용을 최대 34.7배 줄인다. 마찬가지로 중요한 점은, PEARL이 에이전트의 구성이나 모델 설정 공유를 요구하지 않아 독점적이거나 사적인 정보를 보호한다는 것이다. 이러한 결과는 PEARL을 이종 협력 인식을 위한 확장 가능하고 실용적인 프레임워크로 자리매김한다.
장기 동물 재식별(ReID)은 점진적인 형태학적 변화와 계절적 외관 변화에 강인해야 한다. 최근 비전-언어(vision-language) 모델이 강력한 사전학습 시각 표현을 제공하지만, 이를 종단적 생태 환경에 적응시키는 것은 특히 개체 및 시간적 분포 변화 하에서 여전히 어렵다. 우리는 동물 ReID를 위한 매개변수 효율적 CLIP 적응 프레임워크를 제시하고, 학습 중 프롬프트 표현에 수치적 속성을 직접 통합하는 연속 메타데이터 컨디셔닝 메커니즘을 도입한다. 저순위 시각 적응, 프롬프트 기반 지도, 교차 모달 정렬이 적응 프레임워크를 구성하는 반면, 제안된 메타데이터 컨디셔닝 전략이 주된 방법론적 기여를 이룬다. 수치 메타데이터를 텍스트 범주로 이산화하지 않고 연속 구조를 보존함으로써, 제안된 접근법은 학습 중 임베딩 공간의 부드러운 변조를 가능하게 하면서 순수 시각 추론 파이프라인을 유지한다. 7년간의 종단적 어류 데이터셋과 여러 야생동물 벤치마크에서의 실험은 폐쇄형, 개방형 및 시간 인식 평가 프로토콜 하에서 향상된 성능을 보여준다. 결과는 연속 메타데이터 컨디셔닝이 종단적 외관 변화와 시간적 분포 변화에 대한 강인성을 향상시키는 반면, 매개변수 효율적 적응은 테스트 시 메타데이터 없이도 순수 시각 추론 파이프라인을 가능하게 함을 보여준다. 코드 및 평가 분할은 https://github.com/AnilOsmanTur/MetaPrompt-ReID에서 확인할 수 있다.
비독립동일분포(non-IID) 환경에서 분석적 연합학습(Analytic Federated Learning)의 특징 다양체 불일치 문제를 해결하기 위해, FedOPAL은 Visual Prompt Tuning(VPT)을 특징 정류기로 활용해 이질적인 로컬 데이터의 특징 분포를 선형 분리 가능한 공간으로 교정한다. 여러 벤치마크 실험에서 FedOPAL은 기존 분석적 방법을 크게 능가했으며, 서버 측 학습 비용 없이 최신 반복적 방법과 비교 가능한 정확도를 달성해 원샷(one-shot) 연합학습의 새로운 패러다임을 제시한다.
CLIP 기반 비전-언어 모델의 프롬프트 튜닝에서 클래스 레이블 간 의미론적 관계를 무시하는 한계를 극복하기 위해, 클래스 간 의미론적 위상 구조를 명시적으로 모델링하는 Semantic Relation Encoding(SRE)과 전역 의미 공간에서 판별적 성분을 추출하는 Semantic Condensation loss(ScLoss)로 구성된 Structured-Condensed Prompt Tuning(SCPT)을 제안한다. 14개의 세밀한 이미지 인식(fine-grained image recognition) 벤치마크에서 퓨샷 학습 및 base-to-novel 일반화 설정 모두에 걸쳐 최첨단 성능을 달성했다.
우리는 NakbaNLP@LREC-COLING 2026의 StanceNakba 공유 태스크 두 서브태스크를 모두 다루는 입장 감지(stance detection) 시스템 PAST-TIDE를 소개한다. 핵심 아이디어는 구문 튜닝(statement tuning)이다. 우리는 입장을 빈칸 채우기 방식의 마스크 언어 모델링(MLM)으로 재정의하여, 무작위로 초기화된 분류 헤드를 추가하는 대신 사전학습된 MLM 헤드를 통해 버벌라이저(verbalizer)가 레이블 단어를 입장 범주에 매핑하도록 한다. 이를 보완하기 위해, 배치 크기에 독립적인 대조 학습을 위해 학습 가능한 클래스 프로토타입을 활용하는 프로토타입 대조 학습(prototypical contrastive learning)과, 교차 토픽 아랍어 입장 감지를 위한 토픽 조건부 층 정규화(topic-conditional layer normalization)를 함께 적용한다. PAST-TIDE는 공식 리더보드에서 서브태스크 A에 대해 0.75, 서브태스크 B에 대해 0.74의 매크로-F1 점수를 달성하였으며, 이는 사전학습 모델에 최소한의 구조적 추가만으로도 저자원(low-resource) 환경에서 경쟁력을 유지할 수 있음을 보여준다.
테스트 타임 적응(TTA)은 비전-언어 모델(예: CLIP)의 다운스트림 태스크 성능을 향상시키기 위한 인기 있는 패러다임으로 부상했습니다. 기존 CLIP 기반 TTA 방법들 중에서 테스트 타임 프롬프트 튜닝(TPT)은 여러 테스트 타임 증강을 활용하여 텍스트 프롬프트를 최적화하는 선구적인 연구로, 현재까지도 강력한 기준선으로 남아 있습니다. 본 연구에서는 TPT를 재검토하고, 그 최적화 과정이 자기 생성 의사 레이블(pseudo label)로부터 암묵적으로 학습하는 것으로 해석될 수 있음을 밝힙니다. 이 관점을 바탕으로, 우리는 최적화 단계와 추론 단계 간의 일관성을 보장하는 통합 자기 앙상블 프레임워크(USE)를 제안합니다. 최적화 단계에서는 증강된 뷰보다 테스트 이미지 자체를 적응적으로 강조하여 더 신뢰할 수 있는 의사 레이블을 획득하는 간단하면서도 효과적인 자기 앙상블(SE) 전략을 도입합니다. 증강의 잠재력을 완전히 활용하기 위해, 추론 시에도 동일한 전략을 적용하여 두 단계의 목표를 통합합니다. 주목할 점은, SE가 경량의 최적화 불필요 TTA 방법으로도 기능할 수 있다는 것입니다. 여러 데이터셋에 걸친 광범위한 실험을 통해 SE와 USE가 각각의 비교 대상을 능가함을 입증합니다. 또한, SE는 기존 TTA 방법들과 통합될 때 일관된 성능 향상을 제공합니다. 코드는 https://github.com/sirujiang/USE 에서 확인할 수 있습니다.
Prompt-based learning has emerged as a dominant paradigm in natural language processing. This study explores the impact of diverse pre-training objectives on the performance of encoder-decoder pre-trained language models across generation and question answering tasks, with a focus on commonsense knowledge retrieval and completion. We highlight the benefits of incorporating multiple objectives during both pre-training and fine-tuning stages. We introduce the Match Task to Objective (MTO) framework and methods for determining the appropriate objective for a given task. This framework offers automated methods to prepare task-related data for adaptation through unsupervised training, based on the identified objective. In the fine-tuning stage, we design novel templates that align with the objectives of the pre-training and adaptation stages. When aligned with task requirements, these strategies can achieve a performance gain of over 120\% compared to conventional methods in few-shot settings. They significantly outperform related works in few-shot settings and exceed the baseline even in full-dataset scenarios. Furthermore, we extend this approach to include prompt-tuning methodologies, providing guidance for more effective soft prompt engineering and optimization. Our strategies significantly enhance prompt-tuning performance as well. These insights hold substantial value, precisely guiding the selection and optimization of models customized for specific tasks. Code is available at https://github.com/puraminy/MTO/
CLIP과 같은 비전-언어 모델(VLM)은 강력한 제로샷 인식 성능을 달성하지만, 적대적 교란 하에서는 여전히 매우 취약하다. 최근 테스트 시간 적응 방어 기법들은 다수의 증강 뷰를 활용하여 강건성을 개선하지만, 이는 비현실적인 속도 저하와 명확한 강건성-처리량 트레이드오프를 초래한다. 이 문제를 해결하기 위해, 우리는 안정성 및 적합성 가이드 테스트 시간 프롬프트 튜닝(SS-TPT)을 제안한다. SS-TPT는 두 가지 상보적인 점수를 통해 각 증강 뷰의 품질을 평가한다: (1) 안정성(stability)—약한 증강에 대한 예측 불변성을 측정하고, (2) 적합성(suitability)—뷰들 간 특징 공간 밀도를 측정한다. 이러한 안정성 및 적합성(SS) 점수는 SS 가이드 일관성 손실과 SS 가중 예측을 통해 적응과 추론을 모두 유도하며, 신뢰할 수 있는 뷰는 증폭하고 손상된 뷰는 억제한다. 광범위한 실험을 통해 SS-TPT가 기존 최신(state-of-the-art) 방법들을 크게 능가하며, 다양한 데이터셋과 서로 다른 뷰 수에서 우수한 강건성-처리량 트레이드오프를 달성함을 보여준다. 이를 통해 강한 실용성과 일반성을 모두 입증한다. 코드는 https://github.com/sunoh-kim/SS-TPT 에서 제공된다.