arXiv:2609.05016v2 cs.LG

스케일링 법칙 구축 비용의 상각

Amortizing Scaling Law Construction Costs

Abhash Kumar Jha, Diana Alexandra Onu\c{t}u, Neeratyoy Mallik, Swagatam Haldar, Sam Laing, Niccol\`o Ajroldi, Shiwei Liu, Joaquin Vanschoren, Aaron Klein

제출 2026-09-04

한국어 초록

스케일링 법칙(Scaling laws)은 대규모 파운데이션 모델 학습(training)을 위한 설계 선택을 안내하지만, 이를 도출하려면 하이퍼파라미터, 토큰(token) 예산, 매개변수(parameter) 수 전반에 걸쳐 포괄적인 그리드를 학습해야 하므로 연산 비용이 많이 듭니다. 그러나 스케일링 법칙을 피팅하는 데는 연산 규모 전반에 걸친 최적 손실(loss) 프론티어만 필요할 뿐, 학습된 대부분의 구성은 버려집니다. 본 논문에서는 데이터 수집을 베이지안 최적화(Bayesian optimization) 문제로 공식화하여 효율적으로 스케일링 법칙을 구축하는 프레임워크를 제안하고, 제한된 연산 예산 하에서 스케일링 법칙 피팅 방법을 비교하기 위한 지표를 도입합니다. 탐색 과정에서 연산 예산을 점진적으로 확장하는 방식이 실제 연산 순서에 따른 구성 평가를 반영하여 복원 효율성을 크게 향상시킨다는 점을 발견했습니다. 그런 다음 관측된 구성을 대리 모델 가상 평가(surrogate-fantasized evaluations)로 보강하여 더 넓은 실험 그리드를 복원함으로써, 모든 구성을 학습하지 않고도 정확한 스케일링 법칙 피팅을 가능하게 합니다. 이들을 결합하면 전체 조밀 그리드에 대한 스케일링 법칙 피팅 결과와 거의 일치하면서도 연산량을 최대 $10\text{--}100\times$까지 절감할 수 있습니다.

원문 초록

Scaling laws guide the design choices for training large foundation models, but deriving them involves training an exhaustive grid over hyperparameters, token budgets, and parameter counts, which is computationally expensive. Fitting a scaling law, however, only requires the best-loss frontier across compute scales, discarding most of the trained configurations. We propose a framework for efficient scaling law construction that formulates data collection as a Bayesian optimization problem, and introduce metrics for comparing scaling law fitting methods under constrained compute budgets. We find that progressively expanding the compute budget during acquisition, mirroring the compute-ordered evaluation of configurations in practice, substantially improves recovery efficiency. Augmenting the observed configurations with surrogate-fantasized evaluations then recovers the broader experimental grid, allowing accurate scaling law fitting without training every configuration. Together, these can closely match scaling law fits over a full dense grid at computational savings of up to $10\text{--}100\times$.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.05016v2제출 시각 미확인
  2. arXiv:2609.05016v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.