PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2502.07780v4cs.LG공식 코드 · Papers with Code

DarwinLM: 대규모 언어 모델의 진화적 구조적 가지치기

DarwinLM: Evolutionary Structured Pruning of Large Language Models

대규모 언어 모델(LLM)은 다양한 자연어 처리(NLP) 태스크에서 상당한 성공을 거두었다. 그러나 거대한 계산 비용은, 특히 실시간 응용에서, 이들의 널리 사용을 제한한다. 구조적 가지치기(structured pruning)는 모델을 압축하고 하드웨어 환경과 무관하게 end-to-end 속도 향상을 직접 제공함으로써 효과적인 해결책을 제시한다. 한편, 모델의 서로 다른 구성 요소는 가지치기에 대해 서로 다른 민감도를 보이므로, 균일하지 않은(non-uniform) 모델 압축이 필요하다. 그러나 가지치기 방법은 유능한 하위 구조를 식별하는 것뿐만 아니라 압축 후 학습도 고려해야 한다. 이를 위해 우리는 학습을 고려한(training-aware) 구조적 가지치기 방법인 DarwinLM을 제안한다. DarwinLM은 진화적 탐색 과정을 기반으로 하며, 각 세대에서 변이(mutation)를 통해 여러 자손 모델을 생성하고 생존에 가장 적합한 것을 선택한다. 사후 학습의 효과를 평가하기 위해, 우리는 자손 집단 내에 경량의 다단계 학습 과정을 통합하여 토큰 수를 점진적으로 늘리고 각 선택 단계에서 성능이 낮은 모델을 제거한다. 우리는 Llama-2-7B, Llama-3.1-8B, Qwen-2.5-14B-Instruct에 대한 광범위한 실험을 통해 방법을 검증하였으며, 구조적 가지치기에서 최신(state-of-the-art) 성능을 달성하였다. 예를 들어, DarwinLM은 압축 후 학습 동안 5배 적은 학습 데이터를 필요로하면서 ShearedLlama를 능가한다. 코드: https://github.com/IST-DASLab/DarwinLM