늦은 학습, 빠른 유도: 공정한 얼굴 생성을 위한 타임스텝 분리 의미론적 가이던스
Learning Late, Guiding Early: Timestep-Decoupled Semantic Guidance for Fair Face Generation
합성 얼굴 생성에서의 인구통계학적 불균형은 다운스트림 얼굴 인식 시스템으로 전파될 수 있으므로, 확산 모델(diffusion model)을 데이터 생성에 사용할 때 공정성은 중요한 고려 사항이 됩니다. 기존의 공정성을 고려한 생성 접근법들은 흔히 모델 재학습이나 아키텍처 수정, 또는 역방향 확산 과정 전반에 걸친 반복적인 가이던스를 요구합니다. 본 연구에서는 역방향 노이즈 제거 과정 중 1회성(one-shot) 개입을 통해 인구통계학적 가이던스를 수행하는 추론 시점 프레임워크인 Semantic Boundary Predictor(SBP)를 제안합니다. 제안하는 접근법은 서로 다른 확산 타임스텝(timestep)에서의 잠재 표현이 뚜렷하게 구별되는 의미론적 역할을 한다는 관찰에 기반을 둡니다. 즉, 후반 단계의 잠재 표현은 더 강력한 인구통계학적 분리도를 제공하는 반면, 초기 단계의 잠재 표현은 의미론적 개입을 위한 더 큰 유연성을 제공합니다. SBP는 후반 단계 잠재 표현으로부터 선형 의미 경계를 학습하는 동시에 이를 초기 노이즈 잠재 표현에 단 한 번만 적용하여, 나머지 역방향 노이즈 제거 과정이 변경 없이 진행되도록 함으로써 이러한 타임스텝 분리를 활용합니다. 이 방법은 기반이 되는 잠재 확산 모델(Latent Diffusion Model)의 재학습이나 미세조정을 필요로 하지 않으며, 외부의 균형 잡힌 데이터셋 없이도 작동합니다. CelebA-HQ에서의 실험을 통해 인구통계학적 그룹 전반에서 인지적 이미지 품질을 유지하면서도 성별에서 98%, 이진 인종에서 95%, 4개 클래스 인종에서 15%의 공정성 격차를 줄여 인구통계학적 공정성을 대폭 개선함을 입증했습니다. 1회성 추론 전략과 모델에 구애받지 않는(model-agnostic) 설계 덕분에 SBP는 계산 오버헤드를 거의 유발하지 않으며 기존의 사전학습된 잠재 확산 모델에 손쉽게 통합될 수 있습니다.