디퓨전 초안 트리를 위한 순위 인식 추측 샘플링
Rank-Aware Speculative Sampling for Diffusion Draft Trees
추측 샘플링(speculative sampling)은 목표 분포(target law)를 보존하면서 저비용 초안(draft) 상태들을 병렬로 검증함으로써 디퓨전 생성을 가속합니다. 최근의 트리 기반 방식들은 Diffusion Greedy Rejection Sampling(D-GRS)에서 볼 수 있듯이 단일 체인 초안보다 병렬 연산 예산을 더 효과적으로 할당합니다. D-GRS는 노드(node)당 조건부 독립인 $K$개의 후보를 생성하고, 생성된 순서대로 순차 검증합니다. 그러나 샘플링된 후보들은 추가적인 목표 모델(model) 평가 없이도 유의미한 순위화가 가능합니다. 이를 활용하기 위해, 순위 인식 리스트 결합(coupling)에 기반한 추측 초안 트리의 검증 규칙인 Rank-Aware Speculative Sampling(RASS)을 제안합니다. RASS는 제안-목표 간 평균 변위에 따라 초안 후보들을 정렬하고, 선택된 제안 분포와 목표 분포 간의 전변동(total variation)을 최소화하도록 최적화된 가중치로 순위를 샘플링합니다. 마지막으로 선택된 후보는 목표와 최대로 결합되며, 잔차 보정을 통해 어떠한 순위 가중치 선택에서도 정확한 샘플링이 보장됩니다. 본 연구는 가우시안 혼합 목표, FFHQ에서의 무조건부 픽셀 공간 생성, CIFAR-10에서의 조건부 생성, COCO2014 프롬프트를 사용한 Stable Diffusion 3.5 기반 잠재 디퓨전에서 RASS를 평가합니다. 표준 샘플링 대비 추측 샘플링의 목표 모델 평가 횟수 비율로 측정했을 때, RASS는 평가된 모든 설정에서 D-GRS보다 향상되었으며 동일한 연산 예산 기준 CIFAR-10에서 약 20%의 성능 향상을 달성했습니다.