PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.31882v2cs.LG

DOHF: 둡의 $h$-변환 가이던스를 활용한 온라인 확산 모델 미세조정

DOHF: Online Diffusion Fine-tuning with Doob's $h$-transform Guidance

보상(reward) 기반 확산 모델 미세조정(diffusion fine-tuning)은 바람직한 결과가 드물게 발생하거나 조건부 보정(conditioning correction)을 추정하는 데 많은 비용이 들 때 실질적인 한계에 직면합니다. 본 연구에서는 둡의 $h$-변환(Doob's $h$-transform)을 실용적인 온라인 학습 알고리즘으로 전환한 DOHF(Diffusion Online $h$-guidance Fine-tuning)를 제안합니다. DOHF는 생성된 샘플에 최적성 가중치를 부여하고, 현재 롤아웃(rollout) 정책 하에서 정규화된 국소 보정치 $\nabla\log h$를 추정한 후, 이를 생성 모델(generative model)에 직접 증류(distill)합니다. 이론적으로는 통일된 $h$-변환 관점을 통해 모집단 최적 DiffusionNFT 업데이트와 다양한 분류기 없는 가이던스(classifier-free guidance) 기법들을 규명합니다. 방법론적으로 본 프레임워크는 추가적인 네트워크 평가 없이도 블랙박스 및 미분 불가능한 보상을 수용할 수 있습니다. 나아가 세 가지 실험적 시나리오에서 향상된 정렬(alignment) 성능을 입증합니다. 본 연구는 저비용 추정과 반복적 증류를 통한 확률적 조건화의 적용이 통계적 샘플링 및 시각적 생성 전반에서 생성 학습을 어떻게 개선할 수 있는지를 보여줍니다.