PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.02266v1cs.LG

HERMES: A Multi-Granularity Labeling Substrate for Pre-training Data Mixtures

HERMES는 사전학습 데이터 혼합을 위한 계층적 레이블링 기반 시스템으로, Learned Semantic Transform과 3단계 잔차 벡터 양자화(RVQ)를 결합해 각 문서를 세밀도(granularity)를 프리픽스 길이로 조절 가능한 계층적 코드로 한 번에 주석 처리한다. 1B 파라미터, 25B 토큰 사전학습 실험에서 고정된 세밀도 파이프라인으로는 발견할 수 없는 세밀도-샘플러 간 상호작용을 포착하여, 최적 설정에서 16개 태스크 능력 평균을 +0.0253 향상시켰다.