PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.13312v2cs.CV

MEGMAG: Micro-Expression Generation via MAGnification

Facial micro-expressions are subtle, short-lived facial movements that reveal genuine human emotions. Despite the large advances in facial expression synthesis and animation, realistic micro-expressions remain challenging due to scarce annotated data and the extremely subtle nature of their motion. Existing dedicated micro-expression methods therefore often struggle with generation quality, robustness, and generalization. We present MEGMAG, a transferable framework for micro-expression generation via magnification that enables pretrained facial animation models to generate realistic micro-expressions without modifying or fine-tuning their backbones. The key idea is to transform subtle micro-expression dynamics into the domain of regular facial expressions, where pretrained animation models can effectively capture and transfer facial motion. A learnable Magnification Module amplifies subtle micro-expression dynamics, enabling a frozen facial animation backbone to transfer the amplified motion to a source identity without altering its original architecture or parameters. A DeMagnification Module then attenuates the generated motion to recover realistic micro-expression characteristics. This design allows MEGMAG to leverage diverse off-the-shelf facial animation models while remaining architecture-agnostic and fully transferable across backbones.

arXiv:2610.11070v1cs.CV

증류 불필요: 비인과적 노이즈 셰이핑을 통한 단일 패스 실시간 토킹 헤드

No Distillation Needed: Single-Pass Real-Time Talking Heads via Acausal Noise Shaping

오디오 기반 얼굴 애니메이션은 실시간 아바타, 텔레프레즌스, 그리고 임바디드 가상 에이전트의 기반이 된다. 또한 이는 온라인으로 동작해야 하며, 각 프레임은 현재 시점까지 관측된 오디오로부터 대화형(interactive) 속도로 생성되어야 한다. 최근의 발전은 디퓨전 모델(diffusion model)이 주도하고 있는데, 이는 샘플당 많은 네트워크 평가가 필요하여 스트리밍에는 적합하지 않다. 우리는 이 분야에서 그러한 비용이 불필요하다고 주장한다. 오디오에 조건화된 얼굴 움직임은 비교적 저차원 매니폴드(manifold)에 위치하며, 이는 단일 패스(single-pass) 생성적 적대 신경망(GAN)만으로도 충분한 영역이다. 장애물은 모델의 용량(capacity)이 아니라 확률적 구조(stochastic structure)에 있다. 우리는 독립동일분포(i.i.d.) 노이즈에 의해 구동되는 인과적(causal)이고 시불변(time-invariant)인 생성자가 각 스텝의 이노베이션(innovation)을 붕괴시키지 않고서는 특정 대역에서 출력 스펙트럼을 억제할 수 없음을 보인다. 우리는 노이즈 경로를 비인과적으로(acausally) 셰이핑하여 이러한 한계를 해소한 FaceGAN을 제안한다. 구동 노이즈가 합성(synthetic)된 것이기 때문에 그 미래 값을 지금 미리 샘플링할 수 있으며, 따라서 오디오-표현(audio-to-expression) 경로는 인과성을 유지하고 모델은 완전한 인과적 동작을 지원한다. FaceGAN은 프레임당 단일 순전파로 표정과 머리 자세를 생성하며, 생성 품질에서 최신 기법과 동등하거나 이를 상회한다. 피드포워드 구조이며 어텐션 윈도우가 제한되어 있어, 드리프트(drift) 없이 무한히 생성할 수 있다.

arXiv:2610.10945v1cs.CV

GHARP: 대규모 재구성 사전지식을 활용한 실시간 가우시안 두부 애니메이션

GHARP: Real-time Gaussian Head Animation from Large-scale Reconstruction Prior

본 논문에서는 소수의 대상(피사체) 입력 이미지와 표정 구동 신호로부터 3D 인간 두부를 실시간으로 애니메이션화하는 기법인 GHARP(Real-time Gaussian Head Animation from Large-scale Reconstruction Prior)를 제안합니다. 우리는 이 문제를 오프라인에서 대상의 기하학적 구조와 외형 표현을 구축하는 신원(identity) 단계와, 런타임에 그 위에서 표정 의존적 잔차를 예측하는 애니메이션 단계로 분리합니다. 이러한 분리는 충실도, 품질 및 런타임 측면에서 유리한 트레이드오프를 제공합니다. 신원 단계는 계산 비용이 높을 수 있는 반면, 애니메이션 단계는 모바일 기기에 최적화된 경량 네트워크를 실행합니다. 본 기법은 사전학습(pre-training)된 재구성 모델의 의미론적으로 구조화된 잠재 공간에서 애니메이션을 수행하며, 이 공간에서는 표정 변화가 공간적으로 국한되어 잔차 예측이 효율적입니다. 이러한 재구성 사전지식은 일관된 공간 배치를 제공하여 여러 입력 시점을 컴팩트하고 고정된 크기의 정규(canonical) 가우시안 표현으로 융합할 수 있도록 합니다. 이러한 2단계 설계가 런타임-품질 트레이드오프를 개선함에도 불구하고, 표정 구동 아바타 기법들에 공통적인 문제점을 여전히 안고 있습니다. 즉, 표정 코드는 얼굴만을 설명하므로 신체 자세와 의복 위치를 누락하여 입력에서 이러한 영역이 불완전하게 지정됩니다. 애니메이션 네트워크는 잘못 설정된 매핑 문제에 직면하여 상충하는 신체 외형을 평균화하게 되고, 이로 인해 블러와 시간적 깜빡임(flicker)이 발생합니다. 우리는 타깃 이미지의 신체를 입력 참조 이미지와 정렬하도록 학습하여 학습(training) 신호에서 모호성을 제거하는 신체 정렬 네트워크를 통해 이 문제를 해결합니다. 본 기법은 Ava-256 벤치마크(benchmark)에서 최고 수준(state-of-the-art)의 품질을 달성하는 동시에, A100 GPU에서 8배 더 적은 가우시안을 사용하여 최대 13배 빠르게 실행됩니다.

arXiv:2609.19840v2cs.CV

KoUniTalk: 조음 중심의 경량 한국어-영어 3D 토킹 페이스 벤치마크

KoUniTalk: A Lightweight Articulation-Centered Korean-English 3D Talking Face Benchmark

고품질 3D 토킹 페이스(talking face) 데이터셋은 여전히 대부분 영어 중심으로 구성되어 있으며, 한국어 3D 얼굴 모션 데이터는 메시 토폴로지(mesh topology), 공간 스케일, 좌표계, 시간 샘플링의 차이로 인해 표준 영어 벤치마크와 결합하기 어렵다. 본 논문에서는 변형 전이(deformation transfer)를 활용하여 VOCASET 및 공개된 한국어 음성 기반 3D 토킹 페이스 데이터를 공유 메시 토폴로지로 리타기팅(retargeting)한 조음(articulation) 중심의 경량 한국어-영어 3D 토킹 페이스 벤치마크인 KoUniTalk를 제시한다. 새로운 변형 전이 알고리즘이나 전두부(full-head) 신원 보존형 아바타 데이터셋을 제안하기보다는, KoUniTalk는 영어와 한국어 전반에서 통제된 음성 구동 얼굴 조음 학습(training) 및 평가(evaluation)를 위한 신원 중립적 표준(canonical) 출력 공간을 제공한다. 통합 템플릿은 1,176개의 정점(vertex)을 포함하며 입과 인접한 하안부 및 중안부 영역에 집중하여 출력 차원을 15,069차원 및 72,147차원에서 3,528차원으로 축소하며, 이는 VOCASET/FLAME 및 원본 한국어 메시에 비해 각각 4.27배 및 20.45배 감소한 것에 해당한다. 리타기팅이 음성 관련 모션을 보존하는지 검증하기 위해, 입 벌림(mouth opening), 입 너비, 개구율(aperture ratio), 입 벌림 동역학(mouth-opening dynamics)을 포함한 의미론적 입 랜드마크 궤적을 평가한다. 한국어 데이터셋의 공식 테스트 세트가 공개되지 않았기 때문에, 피험자가 겹치지 않는(subject-disjoint) 한국어 벤치마크 분할을 추가로 정의한다. 처리 및 매칭된 벤치마크는 22명의 화자, 4,978개의 시퀀스, 642,781개의 프레임을 포함하여 단일 소형 조음 템플릿 공간에서 음성 구동 3D 얼굴 애니메이션 모델의 한국어-영어 교차 데이터셋 평가를 가능하게 한다. 소스 보고 인벤토리 수는 처리된 수치와 별도로 나열된다.

arXiv:2607.23840v1cs.CV

STEER: 조향 가능한 대화형 헤드 아바타

STEER: Steerable Dyadic Head Avatars

얼굴 움직임과 표정은 대면 의사소통의 핵심으로, 발화와 함께 발언권 교환, 주의, 동의, 참여를 전달한다. 음성 기반 얼굴 애니메이션은 입술 동기화와 오디오 조건부 모션 생성에서 큰 진전을 이루었지만, 대부분의 방법은 대화 행동을 오디오의 창발적(emergent) 부산물로 취급하거나, 거친 시퀀스 수준의 정서(affect) 제어만 제공한다. 그 결과, 시선 접촉과 회피, 리듬감 있는 머리 움직임, 감정과 같은 핵심 비언어적 채널은 명시적으로 제어하기 어렵다. 우리는 반응형 대화 헤드 아바타를 위한 제어 가능한 3D 대화형(dyadic) 모션 사전(prior)인 STEER를 제시한다. STEER는 대화 행동을 시선, 머리 리듬, 감정에 대한 명시적 제어로 분해하여, 사용자가 아바타가 대화 상대를 어떻게 듣고, 반응하고, 교류하는지 조향할 수 있게 한다. 이러한 행동에 대한 시간 정렬 주석이 공개 대화형 코퍼스에서 제공되지 않기 때문에, 우리는 in-the-wild 대화형 영상에서 행동 의사 라벨(pseudo-label)을 복원하는 추적 및 주석 파이프라인을 도입한다. 인과적(causal) flow-matching 트랜스포머가 오디오, 상대 모션, 감정 및 제안된 행동 제어를 조건으로 하는 상대 인식(partner-aware) 목표 모션을 학습한다. 우리는 추적된 파라메트릭 모션을 아바타 구동 공간으로 매핑하는 학습된 매핑으로 Universal Gaussian Head-Avatar Prior를 확장하여, STEER를 사실적인(photorealistic) 아바타 파이프라인에 통합한다. 이를 통해 기본 아바타 모델을 재학습하지 않고도 고품질 Gaussian 헤드 아바타의 제어 가능한 애니메이션이 가능해진다. STEER는 모션 품질, 역학(dynamics), 다양성에서 최근 대화형 모션 베이스라인을 능가하고, 상대 결합(partner coupling)에서는 경쟁력을 유지하며, 시선, 머리 리듬, 감정 편집과 대화형 실시간 배포를 함께 가능하게 한다. 코드와 데이터셋 주석은 웹페이지에서 공개한다.

arXiv:2606.27779v1cs.CV

MindFlow: 이면 대화에서 얼굴 애니메이션 생성을 위한 인지적 의미와 음향 동역학의 조화

MindFlow: Harmonizing Cognitive Semantics and Acoustic Dynamics for Facial Animation Generation in Dyadic Conversations

이면 대화를 위한 생생한 얼굴 애니메이션 생성은 고수준의 인지적 의도와 정밀한 저수준 운동 반사를 조화시켜야 하지만, 기존 방법들은 대화 맥락의 의미 이해와 정밀한 동적 제어에서 부족하다. 본 논문에서는 신경과학의 Ventral-Dorsal(복측-배측) 경로 모델에서 영감을 받아 생성을 두 개의 협력적 스트림으로 분리함으로써 깊은 의미 추론과 세밀한 제어를 조화시키는 이중 경로 생성 프레임워크 MindFlow를 제안한다. Ventral 모듈에서는 기존 Sentence-Action(문장-행동) 접근법을 새로운 Chunk-State(청크-상태) 접근법으로 변환하여, 원시 음향 스트림을 맥락 인식형 진화하는 감정 상태 체인으로 모델링하고, 문장 수준 모델링이 놓치는 미묘한 부언어적 뉘앙스와 발화 중간의 감정 변화를 포착한다. Dorsal 모듈은 고주파 음향 단서에 의해 구동되고 감정 상태에 의해 변조되는 고충실도 얼굴 움직임을 위한 조건부 자기회귀 flow matching 네트워크와, 말하기-듣기 역학에서 간섭 없이 견고성을 보장하기 위한 적응형 오디오 게이팅을 위한 Selective Acoustic Injector를 특징으로 한다. 광범위한 실험을 통해 MindFlow가 최신(state-of-the-art) 기준 방법들 대비 우수한 의미적 적절성과 움직임 자연스러움을 달성함을 보여준다.