arXiv:2007.05932

Pose-aware Adversarial Domain Adaptation for Personalized Facial Expression Recognition

Guang Liang, Shangfei Wang, Can Wang

제출 2020-07-12

원문 초록

Current facial expression recognition methods fail to simultaneously cope with pose and subject variations. In this paper, we propose a novel unsupervised adversarial domain adaptation method which can alleviate both variations at the same time. Specially, our method consists of three learning strategies: adversarial domain adaptation learning, cross adversarial feature learning, and reconstruction learning. The first aims to learn pose- and expression-related feature representations in the source domain and adapt both feature distributions to that of the target domain by imposing adversarial learning. By using personalized adversarial domain adaptation, this learning strategy can alleviate subject variations and exploit information from the source domain to help learning in the target domain. The second serves to perform feature disentanglement between pose- and expression-related feature representations by impulsing pose-related feature representations expression-undistinguished and the expression-related feature representations pose-undistinguished. The last can further boost feature learning by applying face image reconstructions so that the learned expression-related feature representations are more pose- and identity-robust. Experimental results on four benchmark datasets demonstrate the effectiveness of the proposed method.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.11295v2cs.CV공통 태그 Domain Adaptation, Disentanglement

획득 변동성 모델링 및 제어를 위한 메타데이터 지도 기반 영상 표현

Metadata Supervised Imaging Representations for Modelling and Controlling Acquisition Variability

생체의학 영상 데이터는 영상 장비, 획득 프로토콜, 촬영 기관, 재구성 설정의 차이로 인해 동일한 생체 구조가 현저히 다르게 나타날 수 있는 상당한 획득 변동성(acquisition variability)을 보입니다. 그 결과, 학습된 표현은 기저의 생물학적 정보와 획득 환경에 따른 외형을 얽히게(entangle) 만들어 해석 가능성, 일반화 성능, 임상 적용을 제한하게 됩니다. 본 연구에서는 의료 영상과 획득 메타데이터를 함께 모델링함으로써 이러한 변동 요인들을 분리(disentangle)할 수 있음을 보여줍니다. 대규모 임상 뇌 MRI 데이터를 사례 연구로 활용하여, 해부학적 구조와 조영도(contrast) 의존적 외형을 분리하는 표현을 학습합니다. 그 결과 도출된 프레임워크는 이종 영상 프로토콜의 체계화, 시퀀스 이해, 영상-메타데이터 불일치 및 영상 아티팩트(artifact) 탐지를 가능하게 하는 동시에, 다양한 획득 환경 전반에서 생물학적으로 유의미한 해부학적 특징을 보존합니다. 이러한 분리된 표현을 기반으로 생성 및 변환 기능도 추가로 지원하여, 메타데이터 조건부 사실적 3D 뇌 MRI 합성과 모달리티 간(cross-modality) 및 기관 간(cross-site) 적응을 위한 해부학 구조 보존 조화(harmonisation)를 모두 수행합니다. 본 연구 결과는 획득 변동성이 모델링, 감사(audit), 합성 및 제어가 가능한 영상화 과정의 구조화된 구성 요소임을 입증하며, 대규모 생체의학 영상 분야에서 획득 인식 표현 학습(acquisition-aware representation learning)을 위한 토대를 마련합니다.

arXiv:2609.22635v1eess.IV공통 태그 Domain Adaptation, Disentanglement

AWR-Net: 3차원 태아 뇌 초음파 합성을 위한 해부학적 구조와 외형 분리

AWR-Net: Decoupling Anatomy and Appearance for 3D Fetal Brain Ultrasound Synthesis

3차원 태아 뇌 초음파(ultrasound)는 비전리 방사선이며 비용 효율적인 영상 기법으로, 포괄적인 해부학적 평가를 위한 풍부한 공간 정보를 제공하지만, 데이터와 주석(annotation)의 부족으로 인해 그 발전이 제한되어 왔다. 이와 대조적으로, 태아 뇌 자기공명영상(magnetic resonance imaging, MRI)은 더 큰 데이터셋과 성숙한 분석 방법에 힘입어 더 발전된 상태이다. 이러한 자원을 활용하기 위해, 해부학적 레이블 맵(label map)은 태아 뇌 MRI에서 초음파로 지식을 전이하기 위한 유망한 모달리티 불변(modality-invariant) 가교 역할을 한다. 그러나 해부학적 구조가 초음파의 외형과 밀접하게 얽혀 있기 때문에 레이블 맵으로부터 초음파 영상을 생성하는 것은 여전히 어려운 과제로 남아 있다. 이 문제를 해결하기 위해, 우리는 해부학적 대응 관계 학습과 초음파 외형 적응을 데이터 수준과 모델 수준 모두에서 분리한다. 구체적으로, 우리는 웨이블릿 확산(wavelet diffusion)과 잔차 정제(residual refinement)를 결합한 2단계 프레임워크인 해부학적 웨이블릿 잔차 네트워크(anatomy wavelet residual network)를 제안한다. 첫 번째 단계는 웨이블릿 영역에서 아틀라스(atlas) 쌍을 이용해 레이블 맵으로부터 볼륨을 생성하도록 학습하고, 두 번째 단계는 이미지 영역에서 실제 임상 초음파로부터 유계(bounded) 잔차 보정을 학습한다. 이러한 분리를 통해 정상 및 비정상 해부학적 구조를 일관되게 보존하면서 사실적인 합성이 가능해진다. 실제 태아 뇌 초음파에 대한 실험 결과, 제안하는 방법은 대표적인 합성 방법들보다 우수한 성능을 보였으며, 정규화된 상호상관(normalized cross correlation)은 0.518로 가장 강력한 기준선(baseline)의 0.482 대비 우수했고, 프레셰 인셉션 거리(Fréchet Inception Distance)는 8.905로 가장 강력한 기준선의 13.319 대비 우수했다. 합성 품질을 넘어, 태아 뇌 MRI 레이블 맵으로부터 생성된 볼륨은 특히 중증 비정상 사례에서 다운스트림 분할(segmentation) 성능도 향상시켰다. 종합적으로, 이러한 결과는 제안된 프레임워크가 풍부한 태아 뇌 MRI 자원을 활용하여 3차원 초음파 분석을 발전시킬 잠재력을 지니고 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.