arXiv:2510.00192v3 cs.LG

크게 학습하고 작게 배포하기: 컴팩트한 저랭크 적응을 위한 구조적 압축

Train Large, Deploy Compact: Structured Compression for Compact Low-Rank Adaptation

Xin Yu, Cong Xie, Xunmei Liu, Tiantian Fan, Lingzhou Xue, Zhi Zhang

제출 2025-09-30

한국어 초록

저랭크 적응(LoRA)은 대규모 언어 모델(LLM)의 매개변수 효율적 미세조정을 위한 널리 사용되는 패러다임으로 자리 잡았으나, 표현 역량이 전면 미세조정(full fine-tuning)에 미치지 못하는 경우가 많습니다. LoRA의 맥락에서 핵심적인 미해결 과제는 과매개변수화된 공간으로부터 표현력이 풍부한 저랭크 어댑터를 어떻게 얻을 것인가입니다. 본 논문에서는 과매개변수화된 초기화로부터 대표성이 높은 저랭크 어댑터를 확보하기 위해 구조적 가지치기(structured pruning)를 활용하는 새로운 프레임워크인 \textit{PrunedLoRA}를 제안합니다. 고정된 저랭크 예산을 부과하는 기존 접근 방식과 달리, PrunedLoRA는 미세조정 과정에서 덜 중요한 구성 요소를 동적으로 가지치기하고 이들의 재활성화를 방지함으로써 유연하고 적응적인 랭크 할당을 가능하게 합니다. 구조적 가지치기를 위해, 전체 손실에 대한 가지치기 오차를 최소화함으로써 근거 있는 해석을 갖춘 그래디언트 기반 가지치기 전략에서 세밀한 가지치기 및 복구 업데이트를 제공합니다. 또한 구조적 가지치기의 강건성에 대한 최초의 이론적 분석을 제시하며, 가중치 섭동(weight perturbation)의 영향 하에서 그래디언트 기반 가지치기가 전체 손실 측면에서 활성화 기반 가지치기보다 더 강건함을 증명합니다. 실증적으로 PrunedLoRA는 수학적 추론, 코드 생성, 자연어 이해 분야의 지도 미세조정(SFT) 과제 전반에서 LoRA 및 그 변형 모델들을 지속적으로 능가하며, 다양한 희소성 수준에 걸쳐 기존 구조적 가지치기 방법들에 비해서도 이점을 입증합니다.

원문 초록

Low-rank adaptation (LoRA) has become a widely used paradigm for parameter-efficient fine-tuning of large language models, yet its representational capacity often lags behind full fine-tuning. Within the context of LoRA, a key open question is how to obtain expressive low-rank adapters from over-parameterized spaces. We propose \textit{PrunedLoRA}, a new framework that leverages structured pruning to obtain highly representative low-rank adapters from an over-parameterized initialization. Unlike prior approaches that impose a fixed low-rank budget, PrunedLoRA dynamically prunes less important components during fine-tuning and prevents their reactivation, enabling flexible and adaptive rank allocation. For structured pruning, by minimizing the pruning error for overall loss, we provide fine-grained pruning and recovery updates in a gradient-based pruning strategy with grounded interpretation. We provide the first theoretical analysis of the robustness of structured pruning and provably show that under the impact of weight perturbation, gradient-based pruning is more robust than activation-based pruning with respect to overall loss. Empirically, PrunedLoRA consistently outperforms LoRA and its variants across supervised fine-tuning tasks in mathematical reasoning, code generation, and natural language understanding, and it also demonstrates advantages over existing structured pruning methods across diverse sparsity levels.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2510.00192v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.