Data Fine-tuning
원문 초록
In real-world applications, commercial off-the-shelf systems are utilized for performing automated facial analysis including face recognition, emotion recognition, and attribute prediction. However, a majority of these commercial systems act as black boxes due to the inaccessibility of the model parameters which makes it challenging to fine-tune the models for specific applications. Stimulated by the advances in adversarial perturbations, this research proposes the concept of Data Fine-tuning to improve the classification accuracy of a given model without changing the parameters of the model. This is accomplished by modeling it as data (image) perturbation problem. A small amount of "noise" is added to the input with the objective of minimizing the classification loss without affecting the (visual) appearance. Experiments performed on three publicly available datasets LFW, CelebA, and MUCT, demonstrate the effectiveness of the proposed concept.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Let Me Look at You: 대화형 음성 합성을 위한 고도화된 얼굴 표정 모델링
Let Me Look at You: Advanced Facial Expression Modeling for Conversational Speech Synthesis
대화형 음성 합성(Conversational Speech Synthesis, CSS)은 인간-컴퓨터 상호작용의 핵심 구성 요소로, 맥락에 적합하고 표현력 있으며 공감적인 음성을 생성하는 것을 목표로 한다. 그러나 얼굴 표정은 공감적 음성 상호작용에 필수적인 미묘하고 풍부한 정서적 단서를 인코딩하는 반면, 기존 접근법들은 이 중요한 모달리티를 종종 간과한다. 또한 음성과 시각 모달리티를 모두 갖춘 대규모 자연 대화 데이터셋의 부재는 대화 환경에서의 시각적 정서 이해 발전을 제한한다. 이러한 한계를 해결하기 위해, 우리는 대규모 언어 모델(LLM) 백본 위에 구축된 얼굴 표정 인식형 CSS 프레임워크인 FacialTalker를 제안한다. 얼굴 표정을 효율적으로 인코딩하기 위해, 각 프레임 수준의 얼굴 표정을 간결한 토큰으로 이산화하는 단일 코드북 시각 토크나이저 AUTokenizer를 제안하며, 이는 얼굴 액션 유닛(Action Unit) 조합의 지도로 학습된다. 나아가 이중 직접 선호 최적화(DualDPO) 전략을 도입하는데, 이는 시각 및 음성 토큰 시퀀스 모두에 선호 제약을 공동으로 부과하여 직접 선호 최적화(DPO)를 확장함으로써, 멀티모달 대화 맥락에서 모델의 얼굴 표정과 음성 의미 이해를 강화한다. 또한 실제 인터넷 대화로부터 완전 자동화된 파이프라인을 통해 수집한 대규모 멀티모달 대화 데이터셋 VSDD-1K를 구축하였으며, 이는 동기화된 화자 비디오와 음성 1,033시간 이상으로 구성되고 프레임의 85% 이상이 유효한 얼굴을 포함한다. 광범위한 객관적·주관적 실험은 FacialTalker가 얼굴 표정 인식과 음성 합성 품질에서 강력한 베이스라인을 일관되게 능가하며, 더 자연스럽고 표현력 있으며 대화 맥락에 더 잘 정렬된 음성을 생성함을 보여준다. 결과는 또한 우리의 학습 전략과 데이터셋 구축 파이프라인의 유효성을 검증한다.
Explainable graph attention network for stress recognition (StressGAT) via differential action units
품질 인식 다중모달 융합이 정서-각성 특징 속 암묵적 신원을 드러냄
Quality-Aware Multimodal Fusion Reveals Implicit Identity in Valence-Arousal Features
기존 얼굴 인식은 정적 외모 단서에 의존하며, 표정 변화, 가림, 조명 불량이 있는 비제약 환경에서 성능이 저하된다. 우리는 시청각 표정 역학이 정적 외모를 보완하는 신원 구별 정보를 담고 있으며, 이러한 신호를 추출하려면 in-the-wild 영상의 가변적 입력 품질에 강건한 다중모달 표현이 필요하다고 가설을 세운다. 이러한 표현을 학습하기 위해 다중모달 정서-각성(valence-arousal, VA) 추정을 사전과제(pretext task)로 설정하고, 샘플별·모달리티별 신뢰도를 추정하며 학습된 소프트 게이팅(soft gating)과 품질 의존적 드롭아웃을 통해 각 모달리티의 기여도를 조절하는 Quality-Aware Adaptive Fusion(QAAF)을 제안한다. VA 추정 문제에서 QAAF는 Aff-wild2에서 late fusion 앙상블을 통해 평균 Concordance Correlation Coefficient(CCC) 0.472를 달성하며, 동일 설정의 기준선 앙상블(0.415) 및 단일 백본 기준선(0.288) 대비 향상을 보인다. 또한 제안한 QAAF는 사용 불가능한 모달리티에 대해 더 큰 견고성을 보이며, 한 모달리티가 누락될 때 CCC가 상대적으로 7.5–34.4%만 감소한다. 이어서 우리는 이러한 VA 학습 특징이 신원 특화 학습 없이도 신원을 인코딩하는지 조사한다. AFEW-VA(67명 배우)와 YTF(1,595명 피험자)에서 VA 학습 백본 특징은 평가된 소프트 생체인식(soft biometric) 방법 중 1위를 기록했으며, ArcFace와의 score-level 융합은 두 데이터셋 모두에서 EER을 낮춘다(AFEW-VA에서 0.022→0.021, YTF에서 0.106→0.104). AFEW-VA에서는 ArcFace의 오수용(false accept) 중 68.2%를 수정한다. 이러한 결과는 다중모달 VA 추정이 기존 얼굴 인식을 보완하는 소프트 생체인식 모달리티임을 입증한다.
다중 과업 정서 행동 분석을 위한 과업별 특징 융합 방법
Task-Specific Feature Fusion Method for Multi-Task Affective Behavior Analysis
11th Affective Behavior Analysis in-the-wild(ABAW11) 다중 과업 학습 챌린지는 공식 s-Aff-Wild2 이미지로부터 valence-arousal, 범주형 표정(categorical expressions), 얼굴 action unit을 예측하는 통합 시스템을 요구한다. 이러한 과업들은 얼굴 행동을 통해 자연스럽게 연관되어 있지만, 검증 실험 결과 서로 다른 시각적 특징, 시간적 처리 전략, 융합 메커니즘, 보정 절차로부터 이점을 얻는 것으로 나타났다. 본 논문에서는 ABAW11 다중 과업 정서 행동 분석을 위한 과업 적응형 특징 융합을 연구한다. 먼저 두 사전학습 시각 백본인 DINOv2 ViT-L 및 DINOv3 ConvNeXt-base를 외부 표현 지향 얼굴 이미지 세트에서 적응한 뒤 고정하여, 공식 ABAW11 데이터로부터 상보적인 프레임 수준 특징을 추출한다. 이 고정된 특징 위에 프레임 수준 예측 헤드, 시간적 합성곱 헤드, 사후 시간적 스무딩, LightGBM 모델, 특징 연결, 게이트 융합, 잔차 융합, 후기 로짓 융합, 임계값 보정, 공유 MTL 구조를 체계적으로 비교한다. 최종 시스템은 모든 과업이 단일 아키텍처를 공유하도록 강제하지 않고, 과업별 융합 및 예측 전략을 선택한다. ABAW11 검증 세트에서 선택된 시스템은 EXPR macro-F1 0.4222, AU macro-F1 0.5402, 평균 VA CCC 0.6717을 달성하여 전체 검증 점수 1.6341을 기록했다. 결과는 고정된 시각적 특징의 과업 적응형 융합이 ABAW 스타일 다중 과업 정서 행동 분석을 위한 단순하면서도 효과적인 전략임을 시사한다.
미세표정 인식을 위한 행동 단위(AU) 기반 합성 비디오 생성
AU-Guided Synthetic Video Generation for Micro-Expression Recognition
미세표정 인식은 기존 데이터셋의 소규모, 좁은 인구통계학적 범위, 제한된 감정 레이블로 인해 한계가 있다. 우리는 AU 기반 이미지-투-비디오 생성으로 구축된 합성 미세표정 데이터셋인 EquiME를 소개한다. EquiME는 다섯 가지 목표 감정에 걸쳐 15K개의 소스 얼굴 이미지로부터 생성된 75K개의 비디오를 포함하며, 자동으로 추론된 인구통계학적 메타데이터와 비디오 품질 측정값도 함께 제공된다. 우리는 프레임 쌍 유사도, 공간 변화, 무참조 지각 품질 메트릭과 함께 SAMM 및 CASME II에 대한 교차 데이터셋 미세표정 인식(MER) 실험을 통해 EquiME를 평가한다. EquiME로 학습된 모델은 SAMM 및 CASME II에서 경쟁력 있는 교차 데이터셋 성능을 달성하며, 평가된 네 가지 아키텍처 전반에 걸쳐 비교적 낮은 변동성을 보인다. 본 논문은 데이터셋 설계, 비디오 생성에 사용된 구조화된 AU 조건화 파이프라인, 그리고 EquiME를 합성 MER 자원으로 평가하는 데 필요한 실증적 근거에 초점을 맞춘다. 프로젝트 페이지: https://kirito-blade.github.io/me-vlm/
Beyond the Attention: Distinguish the Discriminative and Confusable Features For Fine-grained Image Classification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.