arXiv:2608.25862v2 cs.CV

늦은 학습, 빠른 유도: 공정한 얼굴 생성을 위한 타임스텝 분리 의미론적 가이던스

Learning Late, Guiding Early: Timestep-Decoupled Semantic Guidance for Fair Face Generation

Subir Kumar Parida, Rajbabu Velmurugan, Ketan Kotwal, R. S. Sengar, Swati Hiremath

제출 2026-08-26

한국어 초록

합성 얼굴 생성에서의 인구통계학적 불균형은 다운스트림 얼굴 인식 시스템으로 전파될 수 있으므로, 확산 모델(diffusion model)을 데이터 생성에 사용할 때 공정성은 중요한 고려 사항이 됩니다. 기존의 공정성을 고려한 생성 접근법들은 흔히 모델 재학습이나 아키텍처 수정, 또는 역방향 확산 과정 전반에 걸친 반복적인 가이던스를 요구합니다. 본 연구에서는 역방향 노이즈 제거 과정 중 1회성(one-shot) 개입을 통해 인구통계학적 가이던스를 수행하는 추론 시점 프레임워크인 Semantic Boundary Predictor(SBP)를 제안합니다. 제안하는 접근법은 서로 다른 확산 타임스텝(timestep)에서의 잠재 표현이 뚜렷하게 구별되는 의미론적 역할을 한다는 관찰에 기반을 둡니다. 즉, 후반 단계의 잠재 표현은 더 강력한 인구통계학적 분리도를 제공하는 반면, 초기 단계의 잠재 표현은 의미론적 개입을 위한 더 큰 유연성을 제공합니다. SBP는 후반 단계 잠재 표현으로부터 선형 의미 경계를 학습하는 동시에 이를 초기 노이즈 잠재 표현에 단 한 번만 적용하여, 나머지 역방향 노이즈 제거 과정이 변경 없이 진행되도록 함으로써 이러한 타임스텝 분리를 활용합니다. 이 방법은 기반이 되는 잠재 확산 모델(Latent Diffusion Model)의 재학습이나 미세조정을 필요로 하지 않으며, 외부의 균형 잡힌 데이터셋 없이도 작동합니다. CelebA-HQ에서의 실험을 통해 인구통계학적 그룹 전반에서 인지적 이미지 품질을 유지하면서도 성별에서 98%, 이진 인종에서 95%, 4개 클래스 인종에서 15%의 공정성 격차를 줄여 인구통계학적 공정성을 대폭 개선함을 입증했습니다. 1회성 추론 전략과 모델에 구애받지 않는(model-agnostic) 설계 덕분에 SBP는 계산 오버헤드를 거의 유발하지 않으며 기존의 사전학습된 잠재 확산 모델에 손쉽게 통합될 수 있습니다.

원문 초록

Demographic imbalance in synthetic face generation can propagate to downstream face recognition systems, making fairness an important consideration when diffusion models are used for data generation. Existing fairness-aware generation approaches often require model retraining, architectural modifications, or repeated guidance throughout the reverse diffusion process. In this work, we introduce Semantic Boundary Predictor (SBP), an inference-time framework that performs demographic guidance through a one-shot intervention during reverse denoising. Our approach is motivated by the observation that latent representations at different diffusion timesteps play distinct semantic roles: late-stage latents provide stronger demographic separability, whereas early-stage latents offer greater flexibility for semantic intervention. SBP leverages this timestep decoupling by learning linear semantic boundaries from late-stage latent representations while applying them only once at the initial noisy latent, allowing the remainder of the reverse denoising process to proceed unchanged. The method requires neither retraining nor fine-tuning of the underlying Latent Diffusion Model and operates without external balanced datasets. Experiments on CelebA-HQ demonstrate substantial improvements in demographic fairness, reducing fairness disparity by 98% for gender, 95% for binary race, and 15% for four-class race, while maintaining perceptual image quality across demographic groups. Owing to its one-shot inference strategy and model-agnostic design, SBP introduces only a small computational overhead and can be readily integrated with existing pre-trained latent diffusion models.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.25862v2제출 시각 미확인
  2. arXiv:2608.25862v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.