A Scaling Law for Token Efficiency in LLM Fine-Tuning Under Fixed Compute Budgets
원문 초록
We introduce a scaling law for fine-tuning large language models (LLMs) under fixed compute budgets that explicitly accounts for data composition. Conventional approaches measure training data solely by total tokens, yet the number of examples and their average token length -- what we term \emph{dataset volume} -- play a decisive role in model performance. Our formulation is tuned following established procedures. Experiments on the BRICC dataset \cite{salavati2024reducing} and subsets of the MMLU dataset \cite{hendrycks2021measuringmassivemultitasklanguage}, evaluated under multiple subsampling strategies, reveal that data composition significantly affects token efficiency. These results motivate refined scaling laws for practical LLM fine-tuning in resource-constrained settings.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Step-wise Policy for Rare-tool Knowledge (SPaRK): Offline RL that Drives Diverse Tool Use in LLMs
The Delta Learning Hypothesis: Preference Tuning on Weak Data can Yield Strong Gains
언어 모델의 성능 향상은 종종 학습에 사용하는 데이터의 품질 개선에 의해 이루어지며, 강력한 감독 신호가 부족할 때에는 한계가 있을 수 있습니다. 본 연구에서는 개별적으로는 약한 데이터 포인트로 구성된 쌍으로 된 선호도 데이터가 각 데이터 포인트의 강도를 넘어서는 성능 향상을 가능하게 함을 보여줍니다. 우리는 이 현상을 설명하기 위해 델타 학습 가설(delta learning hypothesis)을 제시하는데, 이는 약한 데이터에 대한 감독 미세조정이 오히려 성능을 저해할 때에도, 데이터 포인트 간 상대적 품질 차이(delta)가 선호도 튜닝을 통한 학습을 촉진하기에 충분하다는 가정입니다. 본 가설은 통제된 실험과 대규모 실험에서 검증되었으며, 여기서 우리는 8B 모델을 소규모 3B 모델의 응답과 더 작은 1.5B 모델의 출력을 쌍으로 하여 의미 있는 델타를 생성한 선호도 데이터로 후학습(post-training)하였습니다. 특히, 표준 11개 벤치마크 평가 세트(MATH, MMLU 등)에서 본 간단한 방법은 동일한 기반 모델에서 튜닝된 최첨단 공개 모델인 Tulu 3의 성능과 맞먹으며, Tulu 3는 훨씬 강력한 감독자(e.g., GPT-4o)를 활용합니다. 따라서 델타 학습은 최첨단 후학습을 위한 더 간단하고 저렴한 공개 레시피를 가능하게 합니다. 델타 학습을 더 잘 이해하기 위해, 우리는 로지스틱 회귀(logistic regression)에서 두 약한 교사 모델 간의 성능 격차가 더 강한 학생 모델 개선에 유용한 신호임을 증명하였습니다. 종합적으로, 본 연구는 일반적으로 약하다고 여겨질 수 있는 쌍으로 된 데이터로부터도 모델이 놀라울 정도로 잘 학습할 수 있음을 보여줍니다.
Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate
any4: Learned 4-bit Numeric Representation for LLMs
Emergent Semantics Beyond Token Embeddings: Transformer LMs with Frozen Visual Unicode Representations
Do Language Models Mirror Human Confidence? Exploring Psychological Insights to Address Overconfidence in LLMs
토론
이 논문과 연결된 포럼 글이 아직 없습니다.