ecpi.edu

이 이메일 도메인이 관측된 논문 2건

arXiv:2610.06387v2cs.LG

스케일링 법칙의 축소: 자원 제약 환경의 대규모 언어 모델에서 매개변수 효율성과 연산 최적 학습

Scaling Down the Scaling Laws: Parameter Efficiency and Compute-Optimal Training in Resource-Constrained Large Language Models

대규모 언어 모델(LLM)은 모델 크기, 학습(training) 데이터 및 컴퓨팅 자원의 증가를 통해 상당한 성능 향상을 달성했습니다. 그러나 전통적인 스케일링(scaling) 접근법은 수확 체감, 재정적 및 환경적 비용 증가를 초래하며, 대규모 산업 연구소 외부에서 활동하는 연구자들에게는 진입 장벽을 만들어냅니다. 본 리뷰 논문에서는 경험적 스케일링 법칙에서부터 연산 최적(compute-optimal) 학습에 이르기까지 LLM 스케일링 이론의 발전을 고찰하며, 특히 매개변수(parameter) 효율성, 토큰(token) 활용도, 데이터 효율성 및 자원 제약 환경에 중점을 둡니다. 스케일링 법칙에 관한 기초 연구와 함께 연산 최적 학습, 데이터 가지치기(pruning), 효율적인 아키텍처, 양자화(quantization), 저순위 적응(LoRA), 엣지 지향 최적화에 관한 후속 연구들을 종합합니다. 문헌들은 규모의 극대화에서 벗어나 매개변수, 토큰, 연산량 및 하드웨어 자원을 보다 신중하게 배분하는 방향으로의 전환을 보여줍니다. 동시에 엔터프라이즈급 인프라에서 확립된 스케일링 원칙이 더 작은 모델과 제약된 컴퓨팅 환경에도 일반화될 수 있는지에 대해 중요한 경험적, 이론적, 방법론적 공백이 여전히 존재합니다. 본 리뷰는 이러한 발전 흐름을 자원 효율적인 LLM 학습을 위한 통합 프레임워크로 체계화하고, 향후의 발전은 단순히 모델 성능만으로 효율성을 평가할 것이 아니라 성능, 매개변수 수, 연산 비용, 토큰 할당, 하드웨어 제약 조건 간의 관계를 통해 평가해야 한다고 주장합니다.

arXiv:2606.13370v1cs.AI

컴퓨팅 제약 토큰 예산 하에서 소형 Llama 스타일 언어 모델의 학습 역학에 대한 정량적 반복 측정 실험 연구

A Quantitative Experimental Repeated Measures Study of Training Dynamics in a Small Llama Style Language Model Under a Compute-Aware Token Budget

고정된 컴퓨팅 예산 하에서 작은 Llama 스타일 언어 모델의 학습 역학을 반복 측정 설계로 분석한 결과, 검증 손실과 혼란도가 초기에는 개선되다가 후반기에는 다시 악화되는 비단조적(non-monotonic) 패턴이 관찰되었다. 이는 제한된 컴퓨팅 환경에서 추가적인 토큰 학습이 비례하는 일반화 이득을 보장하지 않으며, 학습 궤적을 통해 불안정성을 파악하는 것이 중요함을 시사한다.