All-In-One: Facial Expression Transfer, Editing and Recognition Using A Single Network
원문 초록
In this paper, we present a unified architecture known as Transfer-Editing and Recognition Generative Adversarial Network (TER-GAN) which can be used: 1. to transfer facial expressions from one identity to another identity, known as Facial Expression Transfer (FET), 2. to transform the expression of a given image to a target expression, while preserving the identity of the image, known as Facial Expression Editing (FEE), and 3. to recognize the facial expression of a face image, known as Facial Expression Recognition (FER). In TER-GAN, we combine the capabilities of generative models to generate synthetic images, while learning important information about the input images during the reconstruction process. More specifically, two encoders are used in TER-GAN to encode identity and expression information from two input images, and a synthetic expression image is generated by the decoder part of TER-GAN. To improve the feature disentanglement and extraction process, we also introduce a novel expression consistency loss and an identity consistency loss which exploit extra expression and identity information from generated images. Experimental results show that the proposed method can be used for efficient facial expression transfer, facial expression editing and facial expression recognition. In order to evaluate the proposed technique and to compare our results with state-of-the-art methods, we have used the Oulu-CASIA dataset for our experiments.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
병목을 통과하여: Multi-head Latent Attention이 언어 모델에서 콘텐츠와 위치를 어떻게 분리하는가
Through the Bottleneck: How Multi-head Latent Attention Separates Content from Position in Language Models
DeepSeek-V2에서 도입된 Multi-head Latent Attention(MLA)은 공유 저차원 병목(cKV)을 통해 key-value 쌍을 압축하여, 추론 시 KV-cache를 81% 감소시킨다. 대규모 프로덕션 모델에서 채택되었음에도, 이 병목이 어떤 정보를 보존하거나 폐기하는지, 또는 내부 트랜스포머 회로를 어떻게 재구성하는지에 대한 선행 연구는 없었다. 우리는 MLA에 대한 최초의 포괄적인 메커니즘적 해석가능성 연구를 제시하며, 114M-매개변수 트랜스포머(웹/코드/수학 혼합 데이터로 사전학습, TinyStories로 파인튜닝)를 학습하고 SVD, 어텐션 헤드 분류, linear probing, 및 disruption-attribution 분석을 통해 표현을 분석한다. 주요 발견은 다음과 같다: (1) cKV 병목은 순수한 콘텐츠 표현을 학습하여, 위치 정보는 폐기하면서 개체 동일성(entity identity)을 98% 보존하며, RoPE를 통한 MLA의 콘텐츠-위치 분리를 검증한다; (2) induction head는 표준 MHA에서의 분산된 형성과 달리 단일 층(Layer 12)에 공존한다; (3) 단일 "semantic hub" 층(Layer 15)이 동시에 가장 높은 SVD 유효 순위(effective rank)와 가장 강한 disruption-attribution 점수를 보인다; (4) 병목은 전역적으로 과잉 할당(over-provisioned)되어 있으며, 평균적으로 용량의 46%만 사용한다. 이러한 발견은 MLA가 단순히 어텐션을 수동적으로 압축하는 것이 아니라, 모델이 콘텐츠, 위치, 회로 구조를 조직하는 방식을 재구성함을 시사한다. 우리는 이를 초기 데이터 포인트로 간주하며, Section 5에서 범위 제한을 상세히 기술한다.
뇌-기계 인터페이스에서 신경 디코딩 일반화를 위한 자기지도 일관성 강화 분리 학습
Self-Supervised Consistency Enhanced Disentangled Learning for Neural Decoding Generalization in Brain-Machine Interface
뇌-기계 인터페이스(BMI)는 뇌와 외부 장치 간의 직접적인 통신 경로를 제공하여, 인간이 보조 및 로봇 기술을 제어할 수 있게 하며, 재활, 인간 운동 기능 증강, 인간 중심 로봇 공학 분야에 적용될 잠재력을 지닌다. 그러나 신경 표류(neural drift)로 인해 BMI의 성능은 시간이 지남에 따라 저하되어, 특히 침습적 BMI(iBMI)의 장기적 실용성에 어려움을 초래한다. 기존 해결책은 두 가지 주요 한계를 갖는다: (i) 견고한 신경 표현(representation) 학습의 어려움, (ii) 신경 표류가 운동 파라미터(예: 속도, 방향, 속력)에 따라 달라진다는 점을 간과함. 이러한 한계를 극복하기 위해, 우리는 두 가지 핵심 혁신을 바탕으로 한 신경 디코딩 일반화 프레임워크인 자기지도 일관성 강화 분리 학습(SSCDL)을 제안한다. 먼저, 시뮬레이션된 신경 신호 교란과 함께 새로운 teacher-student 일관성 제약을 사용하여 신경 표류에 불변인 견고한 표현을 학습하는 백본 모델인 일관성 강화 신경 디코더(CND)를 설계한다. 다음, 신경 선호 이론(neural preference theory)에서 영감을 받아 운동 신호를 속도, 방향, 속력으로 분리하는 상보적 분리 일반화(CDG) 메커니즘 하에서 세 개의 전용 CND를 사용한다. 이 분리 학습을 통해 SSCDL은 다양한 신경 선호 관점에서 불변 신경 표현을 포착하여, 일간(cross-day) 일반화를 크게 향상시킨다. 광범위한 실험 결과, SSCDL은 최첨단 디코딩 성능을 달성하며, 높은 견고성과 일간 안정성을 보인다. 이러한 역량은 인간 중심 로봇 및 세밀한 보조 응용 분야에서의 장기 상호작용에 대한 강한 잠재력을 시사한다.
EfficientFER: EfficientNetv2 Based Deep Learning Approach for Facial Expression Recognition
SDAFE: A Dual-filter Stable Diffusion Data Augmentation Method for Facial Expression Recognition
Joint Training on Multiple Datasets With Inconsistent Labeling Criteria for Facial Expression Recognition
FerNeXt: Facial Expression Recognition Using ConvNeXt with Channel Attention
토론
이 논문과 연결된 포럼 글이 아직 없습니다.