Photorealistic Facial Expression Synthesis by the Conditional Difference Adversarial Autoencoder
원문 초록
Photorealistic facial expression synthesis from single face image can be widely applied to face recognition, data augmentation for emotion recognition or entertainment. This problem is challenging, in part due to a paucity of labeled facial expression data, making it difficult for algorithms to disambiguate changes due to identity and changes due to expression. In this paper, we propose the conditional difference adversarial autoencoder, CDAAE, for facial expression synthesis. The CDAAE takes a facial image of a previously unseen person and generates an image of that human face with a target emotion or facial action unit label. The CDAAE adds a feedforward path to an autoencoder structure connecting low level features at the encoder to features at the corresponding level at the decoder. It handles the problem of disambiguating changes due to identity and changes due to facial expression by learning to generate the difference between low-level features of images of the same person but with different facial expressions. The CDAAE structure can be used to generate novel expressions by combining and interpolating between facial expressions/action units within the training set. Our experimental results demonstrate that the CDAAE can preserve identity information when generating facial expression for unseen subjects more faithfully than previous approaches. This is especially advantageous when training with small databases.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DFD-Lab: 모듈형 오디오-비주얼 딥페이크 탐지 파이프라인
DFD-Lab: A Modular Audio-Visual Deepfake Detection Pipeline
오디오-비주얼 딥페이크 탐지기(audio-visual deepfake detector)를 비교하려면 데이터셋 적응, 시간적 입력 표현(temporal input representation), 모델 인터페이스, 실험 조건을 함께 조율해야 한다. 본 논문은 이러한 책임들을 분리하면서도 공통된 학습 및 평가 워크플로를 지원하는 모듈형 파이프라인인 DFD-Lab을 제시한다. 우리는 Xception 기반 최대 로짓(maximum-logit) 융합, 시간적 LSTM 융합을 사용하는 ResNet, 그리고 우리가 재구현한 AVFF의 세 가지 구현을 통합한다. 실험은 외부 테스트, 열화(degradation) 기반 학습 증강(training augmentation), 그리고 평가 시점의 손상(corruption)을 다룬다. Deepfake-Eval-2024의 필터링된 하위 집합(subset)에서, FakeAVCeleb으로 학습된 모델들은 각각 0.504, 0.538, 0.458의 기준선 AUROC 값을 달성한다. JPEG50 학습 증강은 이 값을 각각 0.691, 0.605, 0.570으로 높이는 반면, 세 모델의 정확도는 모두 감소한다. 이러한 결과는 학습 개입, 평가 손상, 그리고 지표에 따라 달라지는 결과가 공통 파이프라인 내에서 왜 구분되어야 하는지를 보여준다. 본 연구의 기여는 오디오-비주얼 처리, 상호 교체 가능한 탐지기, 그리고 설정 가능한 실험 워크플로의 통합이며, 이는 실증적 사례 연구(case study)로 뒷받침된다. 이 연구 결과는 데이터셋 간(cross-dataset) 탐지의 어려움과 순위화(ranking) 지표 및 분류 지표가 제공하는 상호 보완적 정보를 강조한다.
Let Me Look at You: 대화형 음성 합성을 위한 고도화된 얼굴 표정 모델링
Let Me Look at You: Advanced Facial Expression Modeling for Conversational Speech Synthesis
대화형 음성 합성(Conversational Speech Synthesis, CSS)은 인간-컴퓨터 상호작용의 핵심 구성 요소로, 맥락에 적합하고 표현력 있으며 공감적인 음성을 생성하는 것을 목표로 한다. 그러나 얼굴 표정은 공감적 음성 상호작용에 필수적인 미묘하고 풍부한 정서적 단서를 인코딩하는 반면, 기존 접근법들은 이 중요한 모달리티를 종종 간과한다. 또한 음성과 시각 모달리티를 모두 갖춘 대규모 자연 대화 데이터셋의 부재는 대화 환경에서의 시각적 정서 이해 발전을 제한한다. 이러한 한계를 해결하기 위해, 우리는 대규모 언어 모델(LLM) 백본 위에 구축된 얼굴 표정 인식형 CSS 프레임워크인 FacialTalker를 제안한다. 얼굴 표정을 효율적으로 인코딩하기 위해, 각 프레임 수준의 얼굴 표정을 간결한 토큰으로 이산화하는 단일 코드북 시각 토크나이저 AUTokenizer를 제안하며, 이는 얼굴 액션 유닛(Action Unit) 조합의 지도로 학습된다. 나아가 이중 직접 선호 최적화(DualDPO) 전략을 도입하는데, 이는 시각 및 음성 토큰 시퀀스 모두에 선호 제약을 공동으로 부과하여 직접 선호 최적화(DPO)를 확장함으로써, 멀티모달 대화 맥락에서 모델의 얼굴 표정과 음성 의미 이해를 강화한다. 또한 실제 인터넷 대화로부터 완전 자동화된 파이프라인을 통해 수집한 대규모 멀티모달 대화 데이터셋 VSDD-1K를 구축하였으며, 이는 동기화된 화자 비디오와 음성 1,033시간 이상으로 구성되고 프레임의 85% 이상이 유효한 얼굴을 포함한다. 광범위한 객관적·주관적 실험은 FacialTalker가 얼굴 표정 인식과 음성 합성 품질에서 강력한 베이스라인을 일관되게 능가하며, 더 자연스럽고 표현력 있으며 대화 맥락에 더 잘 정렬된 음성을 생성함을 보여준다. 결과는 또한 우리의 학습 전략과 데이터셋 구축 파이프라인의 유효성을 검증한다.
EEG 운동 상상 분류를 위한 생성 증강: 순환 일관성 디코더 정제를 갖춘 클래스 조건부 VAE
Generative Augmentation for EEG Motor Imagery Classification: A Class-Conditional VAE with Cycle-Consistent Decoder Refinement
생성 모델이 독립적인 하류 분류기의 정확도를 향상시키는 데 유용한 합성 운동 상상(MI) 뇌전도(EEG) 시행을 제공할 수 있는지 조사한다. Zhou 운동 상상 데이터셋에서 통합 잠재 분류기를 갖춘 클래스 조건부 변분 오토인코더(CVAE)를 학습하고, 학습된 클래스별 사전분포를 생성기로 사용한다: 주어진 레이블에 대해 사전분포에서 샘플링하여 이를 레이블과 일치하는 합성 신호로 디코딩한다. 생성된 데이터의 공분산 행렬에 대한 제약은 공분산 구조의 보존을 장려하며, 모델은 일반 VAE 학습과 증강에 사용되는 생성 경로를 선명하게 하는 디코더 중심 단계를 번갈아 수행하는 스케줄로 학습된다. 두 가지 평가 프로토콜—사용자 내(within-user, 피험자 간 풀링된 60/20/20 분할) 및 사용자 간(cross-user, leave-one-subject-out, LOSO)—에서 학습 세트에 합성 시행을 추가하는 효과를 네 가지 대표적인 EEG 분류 파이프라인—선형 판별 분석(LDA)과 함께하는 공통 공간 패턴(CSP+LDA), 서포트 벡터 머신(SVM)과 함께하는 접선 공간(tangent-space) 특징(TGSP+SVM), 리만 평균까지의 최소 거리(MDM), EEGNetv4 기반 신경망(이하 EEGNet)—에 걸쳐 측정한다. 결과는 독립적인 증강 추출, 무작위 시드(사용자 내), 또는 leave-one-subject-out 폴드(사용자 간)에 걸쳐 집계되며, 불확실성은 시드/폴드별 평균에 대해 계산된 95% 신뢰구간(Student's t-분포)으로 보고된다. CVAE로부터의 합성 EEG는 실제 원시 EEG의 대체재라기보다는 클래스 구조화된, 공분산 유사 데이터의 원천으로서 가장 신뢰할 만하다: MDM의 점 추정치를 높일 수 있지만, 더 넓은 증강 주장은 보수적으로 남아 있다—관찰된 이득은 작고 분류기에 따라 다르다.
DGSSC: A Deep Generative Spectral-Spatial Classifier for Imbalanced Hyperspectral Imagery
Masked Face Recognition with Latent Part Detection
Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델
Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch
역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.