LG-GER: 멀티모달 증거 증류를 통한 언어 유도 기반 집단 감정 인식
LG-GER: Language-Guided Group Emotion Recognition via Multimodal Evidence Distillation
한국어 초록
단일 이미지로부터 사람 집단의 집합적 감정 상태를 추론(inference)하는 과제인 집단 감정 인식(GER)은 얼굴, 자세, 상호작용, 장면 컨텍스트와 같이 공간적으로 분산된 단서들을 통합해야 합니다. 기존 방식들은 검출기(detector) 기반의 멀티스트림 파이프라인에 의존합니다. 이러한 방식들은 어떤 영역이 중요하고 각 영역이 얼마나 강하게 기여하는지에 대한 지침이 결여된 이미지 수준의 지도(supervision)만으로 학습(training)됩니다. 본 논문에서는 학습 이미지에 대해 감정 신호 및 신뢰도 점수와 쌍을 이루는 바운딩 박스와 같은 조밀하고 공간적으로 그라운딩된(grounded) 증거를 생성하기 위해 멀티모달 대규모 언어 모델(MLLM)을 활용하는 언어 유도 증류 프레임워크인 LG-GER을 제안합니다. 이 구조화된 증거는 분류(classification), 영역-텍스트 그라운딩, 공간 감정, 공간 신뢰도 회귀라는 네 가지 상호보완적인 손실 함수를 통해 단일 비전-언어 모델(VLM) 백본으로 증류됩니다. 추론 시 LG-GER은 검출기, MLLM, 멀티스트림 융합을 전혀 필요로 하지 않으므로, 실시간 및 자원 제약적 배포 환경에서 GER을 실용적으로 적용할 수 있게 합니다. LG-GER은 두 가지 벤치마크 GER 데이터셋(GroupEmoW 및 GAF 3.0)에서 평가되었으며, 추론 시 검출 및 멀티스트림 처리를 요구하는 최신 SOTA(state-of-the-art) 방법들과 비교해 경쟁력 있거나 더 우수한 성능을 달성합니다.
원문 초록
Inferring the collective emotional state of a group of people from a single image, a task known as group emotion recognition (GER), requires integrating spatially distributed cues such as faces, poses, interactions, and scene context. Current methods rely on detector-driven multi-stream pipelines. These are trained with only image-level supervision that lacks guidance on which regions matter or how strongly each contributes. We propose LG-GER, a language-guided distillation framework that uses a multimodal large language model (MLLM) to generate dense, spatially grounded evidence, i.e., bounding boxes paired with emotion signals and confidence scores, for the training images. This structured evidence is distilled into a single vision-language model (VLM) backbone through four complementary losses: classification, region-text grounding, spatial emotion, and spatial confidence regression. At inference, LG-GER requires no detectors, no MLLM, and no multi-stream fusion, making GER practical for real-time and resource-constrained deployment. LG-GER has been evaluated on two benchmark GER datasets (GroupEmoW and GAF~3.0) and achieves competitive or superior results compared to state-of-the-art methods that require detection and multi-stream processing at inference.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.23880v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.