SALD: 확산 모델을 위한 자체 참조 이점 학습
SALD: Self-Referenced Advantage Learning for Diffusion Models
언어 모델 적응에 관한 최근 연구들은 학생 모델의 학습된 파라미터로 구동되는 교사 네트워크의 도움을 받아, 시연(demonstration) 또는 피드백으로 강화된 문맥에서 모델의 동작을 평가함으로써 단일 모델이 유익한 학습(training) 신호를 얻을 수 있음을 보여주었습니다. 이러한 내부 참조 원리에 착안하여, 본 연구에서는 확산 모델(diffusion model)이 외부 시연이나 교사 네트워크 없이도 자체 참조 학습 신호를 식별할 수 있는 방법을 탐구합니다. 우리는 동일한 모델을 사용하여 각 이미지-캡션 쌍을 두 가지 노이즈 수준에서 평가하는 자체 참조 학습 프레임워크인 SALD를 제안합니다. 더 쉬운 낮은 노이즈 경로는 참조 기준을 제공하기 위해 그래디언트(gradient) 추적 없이 평가되는 반면, 더 어려운 높은 노이즈 경로는 학습 그래디언트를 제공합니다. 쉬운 경로의 예측을 직접 증류(distillation)하는 대신, SALD는 두 경로 간 오차의 차이를 활용하여 어려운 경로의 목적 함수를 적응시킵니다. 제안된 이점 유도 확산(Advantage-Guided Diffusion, AGD)은 이러한 상대적 오차를 미분 가능한 샘플 수준의 가중치(weight)로 변환합니다. 시간적 이점 메모리(Temporal Advantage Memory, TAM)는 학습 전반에 걸쳐 상대적 난이도를 누적하고 두 노이즈 수준 간의 향후 간격을 조정합니다. 또한 스펙트럼 이점 분해(Spectral Advantage Decomposition, SAD)는 두 경로의 잔차 파워 스펙트럼을 비교하여 주파수에서 유도된 미분 가능한 잠재 요소 가중치를 구성합니다. 모든 구성 요소는 단일 모델 파라미터 세트를 공유하므로, 학습이나 추론(inference) 중에 외부 교사 네트워크나 추가적인 학습 가능 파라미터가 필요하지 않으며 추론 절차도 수정할 필요가 없습니다. 여러 아키텍처와 데이터셋에 걸친 실험을 통해 생성 품질의 일관된 향상을 입증하였으며, 구성 요소별 절제 연구(ablation study)를 통해 제안된 요소들의 기여도를 정량화했습니다.