arXiv:2605.20314v2 cs.LG

적은 데이터, 더 빠른 학습: 작은 데이터셋 반복이 샘플링 편향으로 학습을 가속한다

Less Data, Faster Training: repeating smaller datasets speeds up learning via sampling biases

Jingwen Liu, Ezra Edelman, Surbhi Goel, Bingbin Liu

제출 2026-05-19

한국어 초록

본 연구는 ``소규모 대 대규모 격차(small-vs-large gap)''를 조사한다. 더 적은 샘플에 대한 반복이 더 큰 데이터셋을 쓰는 것보다 학습 시 연산량을 줄일 수 있는 현상이다. 이는 알고리즘적 과제, 아키텍처, 옵티마이저 전반에서 관찰되며 기존 이론으로는 설명되지 않는다. 우리는 가속이 샘플링 편향에 의해 가능해지는 적절한 층별(layer-wise) 성장에서 비롯된다고 주장하며, 데이터셋 크기가 작을수록 이 효과가 더 두드러진다고 본다. 다양한 개입에 대한 이론적 분석과 실증적 근거를 제시한다. 결과에 따르면, 더 작은 데이터셋을 더 많이 반복하는 것은 데이터 부족 시의 차선책에 그치지 않고, 특히 추론(reasoning) 과제에서 최적화를 위한 유리한 귀납적 편향(inductive bias)으로 적극 활용할 수 있다.

원문 초록

This work investigates the ``small-vs-large gap'', where repeating on fewer samples can lead to compute saving during training compared to using a larger dataset. This is observed across algorithmic tasks, architectures and optimizers and cannot be explained using prior theory. We argue that the speedup comes from appropriate layer-wise growth enabled by sampling biases, which is more pronounced when the dataset size is smaller. We provide both theoretical analysis and empirical evidence from various interventions. Our results suggest that using a smaller dataset with more repetitions is not just a fallback strategy under data scarcity, but can be proactively leveraged as a favorable inductive biases for optimization, particularly in reasoning tasks.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.20314v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.