PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11387v1cs.CL

작은 실험, 더 저렴한 결정: 마이크로 사전학습(Micro-Pretraining)을 위한 단계적 승격(Staged Promotion) 사례 연구

Small Experiments, Cheaper Decisions: A Case Study in Staged Promotion for Micro-Pretraining

짧은 사전학습 실행은 실험 비용을 줄일 수 있지만, 아주 적은 규모에서만 강력해 보이는 설정들을 과도하게 승격할 위험도 있습니다. 우리는 Windows A100과 Linux L40S라는 두 개의 이기종 호스트 블록에서 고정된 마이크로 사전학습 러너(micro-pretraining runner)를 대상으로 검증 가능한 단계적 승격(staged-promotion) 프로토콜을 연구합니다. 12개의 사전 스크리닝된 설정에서 시작하여, 비용이 많이 드는 연속 학습 이전에 고정된 승격 규칙을 적용하며 2분, 5분, 10분, 60분, 12시간의 단계별 예산을 사용합니다. 초기 스크린은 의도적으로 불안정한 것으로 간주됩니다. 5분 및 10분 순위는 호스트에 민감하며, 최종 12시간 최상위 조건은 복제된 10분 게이트(gate)에서의 평균 최상 조건과 다릅니다. 단계별로 시드 범위가 다르기 때문에, 이러한 변화는 시드 내 곡선이 아닌 운영적 승격 증거로 해석됩니다. 복제된 60분 게이트는 승격된 세트 내에서 단계적 요인 스크리닝(Staged Factorial Screening) 브리지 참조를 유지하며, 이는 4개의 60분 호스트-시드 셀(host-seed cells) 모두에서 1위를 기록했습니다. 최종 12시간 확인 패키지에서 브리지 조건은 두 개의 시드에 걸친 4개의 호스트-시드 셀 모두에서 1위를 차지했습니다. 반면 탐욕적 비교 대상(greedy comparator)은 고정된 0.010 val_bpb 근사 등가 규칙을 충족하지 못했고, 더 저렴한 d8/ar48 (depth-8, aspect-48) 센티넬(sentinel)은 고정된 0.020 평균 간극 규칙을 충족하지 못했습니다. 실행된 12시간 브랜치는 144 GPU 시간을 소모했으며, 스크리닝 단계를 포함한 전체 단계적 프로토콜은 총 169.2 학습(training) GPU 시간을 기록했습니다. 60분 후보 4개 모두를 계속 학습시켰다면 192 GPU 시간이 소모되었을 것이며, 복제된 10분 후보 9개 모두를 계속 학습시켰다면 432 GPU 시간이 소모되었을 것입니다. 후자의 수치는 실행되지 않은 연속 학습에 대한 회계적 반사실(counterfactuals)일 뿐, 제외된 후보들이 참조를 추월할 수 없었다는 증거가 아닙니다. 이 결과는 제한된 비용 할당에 관한 발견 사항이며, 전역 최적성, 용량 정규화 우위, 또는 적응형 하이퍼파라미터 최적화 방법에 대한 우위를 주장하는 것이 아닙니다.