TuneAhead: 전체 학습 시작 전 미세조정 성능 예측
TuneAhead: Predicting Fine-tuning Performance Before Full Training Begins
대규모 언어 모델(LLM)의 미세조정은 연산 집약적이고 오류가 발생하기 쉽습니다. 모델 성능은 데이터 품질과 하이퍼파라미터 선택에 민감하게 의존하며, 단순한 실행은 모델 성능을 저하시킬 수도 있습니다. 이는 실질적인 질문을 제기합니다: 전체 학습 실행에 착수하기 전에 미세조정 성능을 예측할 수 있을까요? 우리는 미세조정 성능의 사전 예측을 위한 경량 프레임워크인 TUNEAHEAD를 제안합니다. TUNEAHEAD는 정적 데이터셋 기술자와 짧은 표준화된 프로브에서 얻은 동적 프로브 특징을 결합하여 각 후보 실행을 메타 특징 벡터로 인코딩합니다. 예측기는 이러한 특징을 성능 추정치로 매핑하고, SHAP 기반 속성은 예측을 주도하는 구체적인 특징을 밝혀내는 해석 가능한 진단을 제공합니다. Qwen2.5-7B-Instruct에서 수행된 1,300회 이상의 미세조정 실행에서 TUNEAHEAD는 Early-Stop Extrapolation 및 ProxyLM과 같은 강력한 베이스라인을 일관되게 능가했습니다. 370회 실행의 홀드아웃 테스트 셋에서 TUNEAHEAD는 1.47퍼센트 포인트의 RMSE를 달성했으며, 95.1%의 예측을 실제 점수의 ±3퍼센트 포인트 이내에 위치시켰습니다. 이러한 정확한 연속 예측은 불필요한 전체 미세조정을 줄이면서 가장 유망한 실행은 유지할 수 있는 실용적인 진행/중단(go/no-go) 스크리닝 정책을 지원합니다.