할당 인식 생성형 데이터셋 증류를 위한 Pool-Select-Refine
Pool-Select-Refine for Allocation-Aware Generative Dataset Distillation
확산(diffusion) 기반 데이터셋 증류는 최근 대규모 데이터셋을 압축된 합성 세트로 응축하는 유망한 패러다임으로 부상했다. 사전학습된 생성 사전지식(pretrained generative priors)을 활용함으로써, 이러한 방법들은 전통적인 매칭 기반 접근법보다 더 효율적으로 사실적인 클래스 조건부 샘플을 생성할 수 있다. 그러나 기존 확산 기반 방법의 대부분은 여전히 경직된 ``Generate-and-Use'' 전략을 채택하며, 생성된 샘플을 고정된 클래스당 이미지 수 예산 하에서 최종 증류 세트로 직접 취급한다. 이러한 설계는 후보 생성과 최종 예산 할당을 밀접하게 결합하여, 제한된 예산의 중복 낭비 또는 정보가 불충분한 샘플을 초래할 수 있다. 본 논문에서는 할당 인식 생성형 데이터셋 증류를 위한 2단계 프레임워크인 ``Pool-Select-Refine''을 제안한다. 먼저, 고정된 수의 생성 샘플을 직접 사용하는 대신 과완전(over-complete) 후보 풀을 구성하고 목표 예산 하에서 소형 부분집합을 선택한다. 둘째, 교사 모델에서 유도된 소프트 레이블(soft-label) 지도를 사용하여 잠재 공간(latent space)에서 선택된 샘플을 정제(refine)함으로써, 생성 사전지식을 보존하면서 의미 정렬(semantic alignment)을 개선한다. 이러한 설계는 생성, 선택, 정제를 명시적으로 분리하여 증류 예산을 더 효과적으로 활용할 수 있게 한다. 대규모 및 세밀한(fine-grained) 이미지 분류 벤치마크에서의 실험은 제안된 프레임워크가 확산 기반 베이스라인 대비 일관된 성능 향상을 달성함을 보여준다. 결과는 정제 전에 큐레이션(curation) 단계를 도입하는 것이 확산 기반 데이터셋 증류를 개선하는 간단하면서도 효과적인 방법임을 시사한다.