PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.01920v2cs.CV

할당 인식 생성형 데이터셋 증류를 위한 Pool-Select-Refine

Pool-Select-Refine for Allocation-Aware Generative Dataset Distillation

확산(diffusion) 기반 데이터셋 증류는 최근 대규모 데이터셋을 압축된 합성 세트로 응축하는 유망한 패러다임으로 부상했다. 사전학습된 생성 사전지식(pretrained generative priors)을 활용함으로써, 이러한 방법들은 전통적인 매칭 기반 접근법보다 더 효율적으로 사실적인 클래스 조건부 샘플을 생성할 수 있다. 그러나 기존 확산 기반 방법의 대부분은 여전히 경직된 ``Generate-and-Use'' 전략을 채택하며, 생성된 샘플을 고정된 클래스당 이미지 수 예산 하에서 최종 증류 세트로 직접 취급한다. 이러한 설계는 후보 생성과 최종 예산 할당을 밀접하게 결합하여, 제한된 예산의 중복 낭비 또는 정보가 불충분한 샘플을 초래할 수 있다. 본 논문에서는 할당 인식 생성형 데이터셋 증류를 위한 2단계 프레임워크인 ``Pool-Select-Refine''을 제안한다. 먼저, 고정된 수의 생성 샘플을 직접 사용하는 대신 과완전(over-complete) 후보 풀을 구성하고 목표 예산 하에서 소형 부분집합을 선택한다. 둘째, 교사 모델에서 유도된 소프트 레이블(soft-label) 지도를 사용하여 잠재 공간(latent space)에서 선택된 샘플을 정제(refine)함으로써, 생성 사전지식을 보존하면서 의미 정렬(semantic alignment)을 개선한다. 이러한 설계는 생성, 선택, 정제를 명시적으로 분리하여 증류 예산을 더 효과적으로 활용할 수 있게 한다. 대규모 및 세밀한(fine-grained) 이미지 분류 벤치마크에서의 실험은 제안된 프레임워크가 확산 기반 베이스라인 대비 일관된 성능 향상을 달성함을 보여준다. 결과는 정제 전에 큐레이션(curation) 단계를 도입하는 것이 확산 기반 데이터셋 증류를 개선하는 간단하면서도 효과적인 방법임을 시사한다.

arXiv:2606.25488v1cs.LG

Distill on a Diet: Efficient Knowledge Distillation via Learnable Data Pruning

지식 증류(KD) 학습 비용을 줄이기 위해 영향 함수(influence function) 기반 샘플 점수와 Beta 분포로 파라미터화한 학습 가능 샘플링 정책을 결합한 IF-Beta를 제안하고, 교사 feature space에서의 이분법(bilevel) 최적화로 프루닝 정책을 KD 목표에 맞게 효율적으로 학습한다. CIFAR-10/100과 ImageNet에서 다양한 프루닝 비율에서 기존 baseline을 일관되게 능가하며, 더 적은 데이터와 계산으로 전체 데이터 증류 성능을 넘어선다.

arXiv:2606.21916v1cs.LG

데이터 가지치기: 중복, 문제적, 상호의존적 샘플

Data Pruning: Redundant, Problematic, and Interdependent Samples

심층 학습 모델의 성능은 데이터 양뿐만 아니라 데이터 품질에도 영향을 받는다. 데이터 가지치기(data pruning)는 가장 중요한 학습 데이터 포인트만 유지함으로써 데이터셋 크기를 줄이고, 이를 통해 유사한 테스트 성능을 달성하는 프로세스이다. 우리는 노이즈가 있는 조건과 없는 조건 모두에서 널리 사용되는 두 가지 데이터 가지치기 방법을 실증적으로 조사하고, 유의미한 레이블 노이즈가 존재할 경우 이러한 방법들이 실패함을 보인다. 우리는 데이터 가지치기의 성공이 세 가지 요인, 즉 데이터셋 내의 중복성, 문제적 샘플의 존재, 샘플 간 상호의존성에 의해 뚜렷하게 영향을 받음을 강조한다. 우리는 일반적으로 사용되는 벤치마크 분류 데이터셋과 신경망 아키텍처에 대해 상세한 조사를 수행한다. 우리의 관찰이 데이터 분포와 학습 프로토콜 전반에 걸쳐 일관됨을 확인한다.