Dataset distillation (DD) has emerged as a prominent approach in data centric machine learning, aiming to synthesize compact training sets for efficient training by compressing the information in large datasets into a small number of synthetic samples. However, DD methods are often evaluated under inconsistent evaluation protocols, ranging from standard ERM to single/multi-teacher supervision, making it difficult to isolate the effectiveness of distilled data from evaluation. Moreover, many prior methods claim that DD outperforms data pruning approaches such as coreset selection (CS), based on the assumption that restricting condensed datasets to subsets of real samples fundamentally limits their expressiveness. In this work, we critically evaluate DD methods through large-scale experiments using standardized datasets and evaluation protocols to assess their intrinsic effectiveness. We benchmark seven state-of-the-art (SOTA) DD methods on ImageNet-1K, ImageNet100, and ImageNette, using three widely adopted training protocols against four CS strategies. Our results show that while some DD methods fail to outperform even simple random subsets, the SOTA DD approaches are comparable to or worse than coresets on large-scale datasets and incur a substantially higher cost for construction. Beyond accuracy, we also evaluate the representativeness, diversity, and quality of condensed sets, and find that coresets consistently achieve better coverage of the original data distribution. These findings highlight the limited practical advantages of current DD methods and show that coresets remain competitive and are often a more computationally efficient alternative for data-centric learning.
대규모 불균형 표형(tabular) 데이터셋은 그래디언트 부스팅 트리를 반복 학습하는 비용을 크게 만든다. 기존 코어셋(coreset) 방법은 다수 클래스 예시의 대부분을 제거할 때 정확도를 자주 잃는다. 우리는 CRISP(Coreset Reduction via Importance-Stratified Pruning, 중요도 계층화 가지치기를 통한 코어셋 축소)를 제안한다. 이는 프록시 모델 점수의 분위(quantile) 계층에 걸쳐 negative-class 예산을 배분하는 선형 시간 방법이다. 샘플 가중치는 불균등한 포함 확률을 반영한다. 프로덕션 사기(fraud) 데이터셋에서 negative-class를 95% 축소할 때, CRISP는 2,500만 행 중 약 170만 행으로 학습하며 전체 데이터 Average Precision의 99.7%를 유지한다. 이는 총 학습 행 수 93.2% 감소에 해당한다. 공개 CriteoPrivateAds에서는 다수 클래스 축소율 90%부터 99.4%까지 시험한 모든 비율에서 CRISP가 평균 Average Precision이 가장 높다. Sparkov에서는 낮은 축소율에서 결과가 엇갈리지만, 99.2% 및 99.4%에서 평균이 가장 높다. ablation은 예산 배분과 역성향(inverse-propensity) 가중치가 프로덕션 데이터셋 성능 향상의 주요 원인임을 밝힌다.
우리는 LLM 벤치마크 코어셋 선택을 연구한다: 여러 벤치마크에 걸쳐 소수의 프롬프트 부분집합을 선택하여, 해당 부분집합에서 유도된 모델 점수와 순위가 전체 벤치마크 스위트에서 얻은 결과와 근사하도록 한다. 평가-비지도 벤치마크 코어셋 선택(우리의 접근법)에서, 선택 알고리즘은 모델 평가 결과를 전혀 사용하지 않으며, 전체 벤치마크의 부분 컬렉션을 생성하는 것이 아니라 여러 벤치마크에 걸친 프롬프트 부분집합을 생성하는 세밀한 단위로 동작한다. 우리는 부분모듈러(submodular) 부분집합 선택을 활용하며, 이를 위해 행렬식 포인트 프로세스(DPP, determinantal point process) 기반 접근법, 부분모듈러 상호정보(mutual information) 함수, 시설 위치(facility location) 기반 함수 등 다양한 부분모듈러 함수를 개발하고 평가한다. 5가지 능력 범주, 18개의 최전선(frontier) LLM, 61K개 이상의 프롬프트를 아우르는 35개의 이질적 벤치마크로 구성된 새로운 대규모 스위트에서, 저비용 의미론적 프롬프트 임베딩만을 활용하는 시설 위치(FL) 함수가 다양한 코어셋 예산 범위에 걸쳐 12가지 점수 기반 및 다양성 기반 베이스라인보다 LLM 점수를 더 잘 보존함을 발견하였다. 나아가, 우리의 제안된 목적함수가 평가-비지도 환경에만 국한되지 않음을 보인다: 소수의 전체 벤치마크만 선택해야 하고 대량의 모델 점수가 이용 가능한 설정에서, 동일한 목적함수가 MMLU 및 MTEB 리더보드에서 최신(state-of-the-art) 베이스라인과 동등하거나 이를 능가하면서도 계산 비용이 크게 낮다. 종합하면, 우리의 결과는 부분모듈러성(submodularity)이 일반적으로 벤치마크 압축을 위한 강력하고 신뢰할 수 있는 도구임을 시사한다.
이미지 데이터의 급격한 증가로 대규모 데이터셋이 생성되면서, 모델 학습에 소요되는 시간 및 메모리 비용에 대한 우려가 커지고 있다. 그러나 대표적인 학습 서브셋을 선택하는 것은 여전히 어려운 과제인데, 개별 샘플의 기여도가 불분명하고 모델 동작이 데이터셋 및 실행에 따라 달라지기 때문이다. 우리는 코어셋 선택과 여러 실행에 걸친 앙상블 집계를 결합한 프레임워크로 이러한 문제를 해결한다. 코어셋 선택을 위해, 선택된 점수를 기반으로 학습 데이터를 구간으로 분할하고 각 구간에서 샘플링하는 SCOre-Stratified Selection(SCOSS)을 제안한다. 앙상블은 독립적으로 샘플링된 학습 서브셋에서 각각 수행된 여러 실행의 예측을 결합한다. 기준선으로는 원본 버전과 클래스 균형 버전을 각각 가진 적당한(moderate) 선택과 무작위 선택을 사용한다. 우리는 서로 다른 샘플링 비율 하에서 Simple Graph Convolution(SGC)과 서포트 벡터 머신(SVM) 분류기로 프레임워크를 평가한다. 실험 결과, SCOSS는 기준선과 경쟁력 있으며 SGC에 있어 종종 최선의 선택이고, 정확도와 효율성 간의 유리한 트레이드오프를 가능하게 한다. 세밀한(fine-grained) 데이터셋에서는 레이블된 샘플을 더 적게 사용할 때 SCOSS를 적용한 SGC가 SVM을 능가한다. 코드와 보충 자료는 http://scoss.lucasvalem.com에서 공개적으로 이용 가능하다.
퓨샷 지식 증류(KD) 환경에서 효율적인 코어셋 선택을 위해, 교사 모델의 잠재 공간에서 각 클래스의 평균 이미지에 가장 가까운 샘플을 선택하는 few-medoids 방법을 제안한다. 4개 데이터셋과 합성곱·트랜스포머 네트워크를 포함한 3가지 교사-학생 모델 쌍 실험에서, 이 단순한 방법이 무작위 선택 기준선과 herding, k-center Greedy 등 기존 코어셋 선택 전략들을 일관되게 능가함을 보인다.
조직병리학에서 비전-언어 모델(VLM)의 문맥 내 학습(ICL) 시 예시 선택의 불안정성과 환각 문제를 해결하기 위해, 학습이 필요 없는 코어셋 선택 방법인 GAUC를 제안한다. GAUC는 사전학습된 멀티모달 임베딩 공간에서 Maximum Mean Discrepancy 기반 분포 대표성, EMID 기반 프롬프트 강건성, 예측 불확실성(엔트로피) 최소화를 공동 최적화하며, CRC-100K와 MHIST 벤치마크에서 그래디언트 업데이트 없이 최강 기준선과 동등한 정확도를 달성하면서 보정, 프롬프트 강건성, 환각률을 크게 개선했다.
능동 학습(Active Learning)에서 기존 코어셋(coreset) 방법이 회전·스케일 등 데이터 대칭성을 무시해 레이블 예산을 낭비하는 문제를 해결하기 위해, 변환 군(transformation group)이 유도하는 궤도(orbit) 단위로 샘플을 선택하는 군-불변 코어셋 프레임워크 GRINCO를 제안한다. CIFAR-10, STL-10, MNIST 등의 이미지 벤치마크에서 회전 유도 중복이 클수록 기존 코어셋 기법 대비 레이블 효율이 뚜렷하게 향상됨을 실험으로 확인하였다.