HERMES: A Multi-Granularity Labeling Substrate for Pre-training Data Mixtures
HERMES는 사전학습 데이터 혼합을 위한 계층적 레이블링 기반 시스템으로, Learned Semantic Transform과 3단계 잔차 벡터 양자화(RVQ)를 결합해 각 문서를 세밀도(granularity)를 프리픽스 길이로 조절 가능한 계층적 코드로 한 번에 주석 처리한다. 1B 파라미터, 25B 토큰 사전학습 실험에서 고정된 세밀도 파이프라인으로는 발견할 수 없는 세밀도-샘플러 간 상호작용을 포착하여, 최적 설정에서 16개 태스크 능력 평균을 +0.0253 향상시켰다.