Compound Expression Recognition via Multi Model Ensemble for the ABAW7 Challenge
원문 초록
Compound Expression Recognition (CER) is vital for effective interpersonal interactions. Human emotional expressions are inherently complex due to the presence of compound expressions, requiring the consideration of both local and global facial cues for accurate judgment. In this paper, we propose an ensemble learning-based solution to address this complexity. Our approach involves training three distinct expression classification models using convolutional networks, Vision Transformers, and multiscale local attention networks. By employing late fusion for model ensemble, we combine the outputs of these models to predict the final results. Our method demonstrates high accuracy on the RAF-DB datasets and is capable of recognizing expressions in certain portions of the C-EXPR-DB through zero-shot learning.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Undertone: Personalizing Frozen VLM Aesthetic Judges from Few Ratings
NADI 2026: 두 번째 다중 방언 아랍어 음성 처리 공유 과제
NADI 2026: The Second Multidialectal Arabic Speech Processing Shared Task
NADI 2026은 Nuanced Arabic Dialect Identification(NADI) 공유 과제 시리즈의 일곱 번째 개최이며, 다중 방언 아랍어 음성 처리에 초점을 맞춘 두 번째 회차이다. 이번 회차는 자동 음성 인식(ASR), 구어 방언 식별(SDID), 텍스트 음성 변환(TTS), 구어 언어 번역(SLT), 구어 언어 이해(SLU)에 걸친 다섯 가지 과제와 여덟 개의 하위 과제로 구성된다. NADI 2026은 저대역폭, 혼합 방언, 코드 스위칭, 도메인 외(out-of-domain), 제로샷(zero-shot) 설정을 통한 현실적인 평가를 강조하며, 시리즈에 TTS, SLT, SLU를 처음으로 도입한다. 공유 과제에는 최소 13개국에서 온 21개 참가 팀이 참여했고, 테스트 단계 제출 48건과 시스템 설명 논문 14편이 제출되었다. 결과는 도메인 외 일반화가 여전히 주요 병목임을 보여 주며, 최근 아랍어 특화 음성 모델, 멀티모달 방언 식별 접근, 앙상블 방법의 효과를 부각한다. 전반적으로 NADI 2026은 견고한 아랍어 방언 음성 처리를 위한 더 넓고 도전적인 벤치마크를 제공한다.
SKstars at SHROOM: Visions — 제로샷 및 LoRA 적응 비전-언어 모델의 합의 기반 앙상블
SKstars at SHROOM: Visions Agreement-Guided Ensembling of Zero-Shot and LoRA-Adapted Vision--Language Models
본 논문은 대규모 비전-언어 모델 출력에서의 세밀한 환각(hallucination) 탐지를 다루는 공유 과제인 SHROOM-Visions 2026에 대한 SKstars의 제출을 설명한다. 이 과제는 시스템이 환각된 문자(span) 구간을 식별하고, 환각 범주를 부여하며, 예측에 대한 신뢰도 추정치를 제공하도록 요구한다. 우리의 접근법은 Qwen2.5-VL-72B-Instruct의 제로샷 예측과 LoRA로 적응한 Qwen2.5-VL-7B-Instruct 모델의 예측을 결합한다. 두 모델의 출력은 경량 앙상블 절차를 통해 통합된 뒤, span 정제와 신뢰도 조정이 이어진다. 우리는 주요 시스템 구성 요소를 소규모 내부 개발 부분집합에서 평가하고, 제출 시스템의 성능을 공식 영어 테스트 세트에서 보고한다. SKstars는 Cor+Lbl 점수 0.2902로 29개 팀 중 15위를 기록했으며, Cor 및 IoU 점수는 각각 0.3642와 0.3151로 두 지표 모두 18위를 차지했다. 결과는 대규모 제로샷 모델과 더 작은 적응 모델을 결합하는 것이 다국어 및 세밀한 환각 국소화를 위한 실용적 틀을 제공함을 보여 주면서, 개발 세트에서의 개선을 숨겨진 테스트 데이터로 전이하는 데 따른 어려움도 부각한다. 코드 및 예측: https://github.com/aliathar1401/SK-Stars-shroom-visions-2026
PETR: 비전-언어 모델을 위한 학습 불필요 라우팅 기반 프롬프트 앙상블
PETR: Prompt Ensembling with Training-free Routing for Vision-Language Models
프롬프트 학습(prompt learning)은 비전-언어(vision-language) 모델(VLM)을 다운스트림 태스크에 효율적으로 적응시키지만, 기존에 본 클래스(seen classes)에서의 성능 향상은 종종 보지 못한 클래스(unseen classes)에 대한 일반화 성능 저하를 초래합니다. 이러한 한계를 해결하기 위해, 우리는 학습 불필요 라우팅 기반 프롬프트 앙상블(PETR)을 제안합니다. 이 방법의 핵심 혁신은 정교하게 설계된 듀얼 프롬프트 아키텍처로, 서로 다른 데이터와 목적함수로부터 두 개의 상호 보완적인 프롬프트를 학습하여 각각 본 클래스 구별과 보지 못한 클래스 일반화를 강조합니다. 학습(training) 중에는 공유된 동결 CLIP 백본을 사용하여 두 프롬프트를 모두 파인튜닝(fine-tuning)하며, 학습 세트 로짓(logit)으로부터 통계 정보를 수집합니다. 추론(inference) 시점에는 각 테스트 샘플과 본 데이터 간의 유사도를 판별하고, 해당 샘플을 가장 적절한 프롬프트 브랜치로 라우팅합니다. 우리가 아는 한, 이는 통계적 유사성을 기반으로 학습 불필요 적응형 라우팅을 수행하는 최초의 프롬프트 튜닝 프레임워크입니다. 이러한 설계는 해석 가능한 라우팅 신호를 제공하며 라우터 학습 불안정성 및 부하 불균형과 같은 일반적인 전문가 혼합(MoE) 방식 라우팅의 병리적 현상을 방지합니다. 11개 벤치마크(benchmark) 데이터셋(dataset)에 대한 광범위한 실험은 제안하는 프레임워크가 본 클래스와 보지 못한 클래스 모두에서 기존 방법들을 일관되게 능가하며 새로운 최고 성능(state-of-the-art)을 달성함을 입증합니다.
DWT-Fusion: 학습 없는 LLM 생성 텍스트 탐지를 위한 신호 기반 프레임워크
DWT-Fusion: A Signal-Based Framework for Training-Free LLM-Generated Text Detection
제로샷(zero-shot) 및 학습 없는(training-free) 조건에서 LLM 생성 텍스트를 탐지하는 것은 여전히 어려운 과제이며, 특히 탐지기가 데이터셋, 도메인, 그리고 보지 못한 생성기에 걸쳐 일반화해야 할 때 더욱 그렇다. 기존의 학습 없는 접근법들은 탐지 신호로 언어 모델 통계를 활용하지만, 일반적으로 전체 모델 동작을 요약하는 전역(global) 측정치를 통해 텍스트를 특성화한다. 따라서 토큰 수준 예측 가능성의 잠재적으로 유용한 국소(local) 및 다중 스케일(multiscale) 변동이 충분히 활용되지 못할 수 있다. 이러한 관찰에 동기를 부여받아, 우리는 프록시 인과(causal) 언어 모델이 생성한 토큰 수준 로그 확률(log-probability) 시퀀스의 이산 웨이블릿(discrete wavelet) 분석을 통해 LLM 생성 텍스트를 탐지하는 학습 없는 신호 기반 프레임워크인 DWT-Fusion을 제안한다. 제안된 프레임워크는 웨이블릿 기반 다중 해상도(multiresolution) 신호 표현을 통해 이러한 시퀀스를 분석하고, 국소화된 확률 역학(probability dynamics)으로부터 탐지 신호를 도출한다. 우리는 또한 동일 가중치 하드 보팅(equal-weight hard voting), 동일 가중치 소프트 보팅(equal-weight soft voting), 보정(calibration) 가중치 하드 보팅, 보정 가중치 소프트 보팅을 포함한 네 가지 학습 없는 보팅 변형을 평가하여, 지도(supervised) 메타 분류기를 학습하지 않고도 여러 웨이블릿 구성을 결합한다. 프레임워크를 HC3, M4, MAGE에서 GPT-Neo-2.7B, GPT-J-6B, Falcon-7B, LLaMA-3-8B를 프록시 모델로 사용하여 평가한다. 최적의 단일 웨이블릿 구성은 HC3, M4, MAGE에서 각각 AUROC 0.9872, 0.8185, 0.7138을 달성한다. 보정 가중치 보팅을 적용하면 최적의 앙상블 변형은 AUROC를 각각 0.9919, 0.8477, 0.7471로 더욱 향상시킨다. 이러한 결과는 DWT 기반 다중 해상도 스코어링과 보정 기반 보팅 융합이 학습 없는 LLM 생성 텍스트 탐지를 위한 효과적이고 해석 가능한 신호를 제공함을 보여준다.
CARPRT: 블랙박스 비전-언어 모델을 위한 클래스 인식 제로샷 프롬프트 재가중
CARPRT: Class-Aware Zero-Shot Prompt Reweighting for Black-Box Vision-Language Models
사전학습된 비전-언어 모델(VLM)은 이미지와 텍스트 설명 사이의 유사도 점수를 계산하여 제로샷 이미지 분류를 가능하게 하며, 텍스트 설명은 보통 클래스 레이블(예: "cat")을 프롬프트(예: "a photo of a")에 삽입하여 구성된다. 특정 이미지-클래스 쌍에 대한 점수는 프롬프트 선택에 민감하므로, 기존 연구들은 서로 다른 프롬프트 간 점수를 집계하기 위해 가중치 벡터를 사용하여 여러 프롬프트를 앙상블한다. 그러나 현재 전략에서는 각 프롬프트에 할당된 가중치 벡터가 모든 클래스에 공유되어, 프롬프트가 클래스에 대해 조건부로 독립적이라고 암묵적으로 가정하는데, 이는 실제로는 종종 성립하지 않는다. 예를 들어 "an aerial view of"와 같은 프롬프트는 "airport"에는 적합하지만 "apple"에는 부적합할 수 있다. 이를 해결하기 위해, 우리는 클래스 인식 제로샷 프롬프트 재가중(class-aware zero-shot prompt reweighting, CARPRT)을 제안한다. 이 점수 체계는 학습 없이 다양한 프롬프트의 클래스별 관련성을 포착하여 각 클래스 레이블에 대한 가중치 벡터를 조정한다. 각 클래스 레이블과 사용 가능한 모든 프롬프트에 대해, 주어진 프롬프트 하에서 해당 클래스로 예측된 이미지들에 대한 이미지-텍스트 관련성 점수를 평균하여 클래스별 관련성을 정량화한다. 이러한 추정치는 정규화되어 클래스별 가중치를 도출한다. 표준 이미지 분류 벤치마크에서의 평가 결과, CARPRT는 기존의 클래스 독립적 재가중 방법들을 능가하며, 프롬프트-클래스 의존성을 모델링하는 것이 효과적인 제로샷 예측뿐만 아니라 프롬프트 앙상블에 의존하는 더 넓은 VLM 기반 응용 설정에서도 중요함을 확인한다. 코드는 https://github.com/tmlr-group/CARPRT 에서 제공된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.