MINCE: 소수 모델 몬테카를로 캘리브레이션을 통한 LLM 평가 데이터셋 축소
MINCE: Shrinking LLM Evaluation Datasets via Few-Model Monte Carlo Calibration
양자화(quantization), 파인튜닝(fine-tuning), 또는 배포 환경에 맞춘 모델 등 다양한 모델 변형 전반에서 대규모 언어 모델(LLM)을 평가(evaluation)하려면 대규모 벤치마크(benchmark)를 반복적으로 실행해야 하며, 이는 NPU와 같은 에지 하드웨어에서 모델당 수십 시간이 걸릴 수 있는 과정입니다. 기존의 서브셋 선택 방법들은 이러한 비용을 줄여주지만 대규모 캘리브레이션 풀이나 학습된 예측 층(layer)에 의존합니다. 본 논문에서는 소수의 캘리브레이션 모델에서 얻은 항목별 로그를 바탕으로 몬테카를로 시뮬레이션을 사용하여 정확도 드리프트(accuracy drift)를 제한하는 최소 서브셋 크기를 찾은 뒤, 별도의 예측 층 없이 해당 크기로 무작위 샘플링된 서브셋을 고정하는 MINCE(Monte Carlo Informed N-sizing for Compact Evaluation)를 소개합니다. MINCE는 BF16 캘리브레이션 모델에서 최대 드리프트 $\leq$2.62\,pp 수준을 유지하며 IFEVAL을 54\%, MMLU를 89\%, GSM8K를 70\%, MMLU-Pro를 88\% 축소합니다. 이렇게 고정된 서브셋은 평가에서 제외되었던(held-out) GPU 모델에 대해 평균 드리프트 $\leq$1.40\,pp, INT4 NPU 모델에 대해 평균 드리프트 0.77--3.59\,pp로 일반화되는 동시에, GPU 모델에서는 최대 8.1$\times$, NPU 모델에서는 1.7--3.4$\times$의 평가 속도 향상을 제공합니다. 이 방법은 캘리브레이션 풀 크기 변화에 강건(robust)하며, tinyBenchmarks 대비 42$\times$ 더 적은 캘리브레이션 모델을 사용하면서도 더 낮은 드리프트(MMLU에서 12$\times$ 더 낮음, GSM8K에서 3.3$\times$ 더 낮음)를 달성합니다.