우리는 파인튜닝된 시퀀스-투-시퀀스 LLM을 통한 네거티브 프롬프트 최적화와 잠재 공간 분류기 가이던스를 통합하여 Stable Diffusion이 생성하는 이미지의 품질을 향상시키는 새로운 시스템을 제안한다. 우리 접근법은 최적화된 네거티브 프롬프트를 자동으로 생성하고, CNN-RNN 하이브리드 분류기를 사용해 확산 단계를 평가·가이드하며 품질이 낮은 잠재 업데이트를 롤백한다. 실험 결과, 우리의 이중 가이던스 프레임워크는 기준선 확산 대비 아티팩트를 줄이고 의미적 충실도를 향상시킨다.
분류기 가이던스(Classifier guidance)는 노이즈 조건부 분류기(noise-conditioned classifier)를 사용하여 샘플링 과정을 타겟 클래스(target class)로 유도함으로써 디퓨전 생성을 제어하는 방법입니다. 분류기 가이던스의 단점 중 하나는 분류기와 디퓨전 모델(diffusion model)이라는 두 개의 별도로 학습된 모델이 필요하다는 것입니다. 따라서 우리는 기존 방식으로 학습된 음성 분류기를 디퓨전 생성의 백본(backbone)으로 재활용하는 더욱 컴팩트한 대안을 연구합니다. Log-Mel 공간의 고정된 노이즈 조건부 분류기에서 시작하여, 분류기 중간 표현을 재사용하는 경량 서브네트워크를 연결하고 Denoising Score Matching 목적 함수 하에서 이 서브네트워크만 학습합니다. 우리의 연구는 사전학습된 분류기가 조건부 생성을 위해 재활용될 수 있음을 보여주며, 이는 판별 모델링(discriminative modeling)과 조건부 음성 합성 사이의 매력적인 가교를 제공합니다. 그 결과 단일 백본 모델 내에서 높은 음성 품질을 달성하면서 메모리 사용량과 계산 비용을 줄일 수 있습니다.
분류기 기반 확산 모델(classifier-guided diffusion models)이 희귀 샘플을 잘 생성하지 못하는 문제를 해결하기 위해, 추가 학습 없이 샘플링 단계에서 역 확산 동역학을 수정하여 저밀도 영역을 탐색하고 실제 이미지를 향해 유도하는 방법을 제안한다. 이 방법은 ImageNet에서 FID를 유지하면서 리콜(recall)을 향상시키고, 고해상도에서도 고품질 샘플을 생성함을 입증했다.