arXiv:2610.06387v2 cs.LG

스케일링 법칙의 축소: 자원 제약 환경의 대규모 언어 모델에서 매개변수 효율성과 연산 최적 학습

Scaling Down the Scaling Laws: Parameter Efficiency and Compute-Optimal Training in Resource-Constrained Large Language Models

Joe Dwyer

제출 2026-10-05

한국어 초록

대규모 언어 모델(LLM)은 모델 크기, 학습(training) 데이터 및 컴퓨팅 자원의 증가를 통해 상당한 성능 향상을 달성했습니다. 그러나 전통적인 스케일링(scaling) 접근법은 수확 체감, 재정적 및 환경적 비용 증가를 초래하며, 대규모 산업 연구소 외부에서 활동하는 연구자들에게는 진입 장벽을 만들어냅니다. 본 리뷰 논문에서는 경험적 스케일링 법칙에서부터 연산 최적(compute-optimal) 학습에 이르기까지 LLM 스케일링 이론의 발전을 고찰하며, 특히 매개변수(parameter) 효율성, 토큰(token) 활용도, 데이터 효율성 및 자원 제약 환경에 중점을 둡니다. 스케일링 법칙에 관한 기초 연구와 함께 연산 최적 학습, 데이터 가지치기(pruning), 효율적인 아키텍처, 양자화(quantization), 저순위 적응(LoRA), 엣지 지향 최적화에 관한 후속 연구들을 종합합니다. 문헌들은 규모의 극대화에서 벗어나 매개변수, 토큰, 연산량 및 하드웨어 자원을 보다 신중하게 배분하는 방향으로의 전환을 보여줍니다. 동시에 엔터프라이즈급 인프라에서 확립된 스케일링 원칙이 더 작은 모델과 제약된 컴퓨팅 환경에도 일반화될 수 있는지에 대해 중요한 경험적, 이론적, 방법론적 공백이 여전히 존재합니다. 본 리뷰는 이러한 발전 흐름을 자원 효율적인 LLM 학습을 위한 통합 프레임워크로 체계화하고, 향후의 발전은 단순히 모델 성능만으로 효율성을 평가할 것이 아니라 성능, 매개변수 수, 연산 비용, 토큰 할당, 하드웨어 제약 조건 간의 관계를 통해 평가해야 한다고 주장합니다.

원문 초록

Large language models (LLMs) have achieved substantial performance gains through increases in model size, training data, and computational resources. However, traditional scaling approaches produce diminishing returns, rising financial and environmental costs, and barriers to participation for researchers operating outside large industrial laboratories. This review examines the evolution of LLM scaling theory from empirical scaling laws to compute-optimal training, with particular emphasis on parameter efficiency, token utilization, data efficiency, and resource-constrained environments. Foundational work on scaling laws is synthesized alongside later research on compute-optimal training, data pruning, efficient architectures, quantization, low-rank adaptation, and edge-oriented optimization. The literature indicates a shift from scale maximization toward more deliberate allocation of parameters, tokens, compute, and hardware resources. At the same time, important empirical, theoretical, and methodological gaps remain regarding whether scaling principles established on enterprise-grade infrastructure generalize to smaller models and constrained computing environments. This review organizes these developments into a unified framework for resource-efficient LLM training and argues that future progress should evaluate efficiency not solely through model performance, but through the relationship among performance, parameter count, computational cost, token allocation, and hardware constraints.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.06387v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.