PyTorchKR Papers

최신 논문

총 11편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15781v1cs.LG

하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기

Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models

학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.

arXiv:2610.02559v1cs.LG

시그모이드 신경망의 사후 학습 압축을 위한 역활성화 회귀 기반 뉴런 병합

Neuron merging via inverse-activation regression for post-training compression of sigmoid neural networks

신경망의 규모가 지속적으로 커짐에 따라, 제한된 계산 자원 환경에서의 효율적인 추론을 위한 모델 압축의 중요성이 점차 커지고 있습니다. 구조적 가지치기(structured pruning) 방식은 덜 중요하다고 추정되는 뉴런이나 채널을 제거하지만, 이렇게 제거된 단위들도 여전히 유용한 정보를 담고 있을 수 있습니다. 학습된 네트워크를 조대화(coarse-graining)하는 관점에서 볼 때, 여러 뉴런 자유도가 통합될 때 어떤 정보를 보존해야 하는지 묻는 것은 가치 있는 일입니다. 본 논문에서는 학습된 신경망의 압축을 위한 군집 기반 병합 방법을 논의합니다. 데이터가 필요 없는(data-free) 기여도 가중 평균 방식뿐만 아니라, 뉴런 반응을 역활성화 함수를 통해 사전 활성화(pre-activation) 공간으로 역매핑하고 최소자승법을 사용하여 각 대표 뉴런의 가중치와 편향을 추정하는 뉴런 병합 방법을 제안합니다. 또한 실제 학습 입력을 활용하는 데이터 보조 전략과 무작위로 생성된 입력을 사용하는 데이터 무관(data-free) 전략을 모두 검토합니다. 이러한 비교를 통해 실험 대상인 시그모이드 네트워크에서 병합 과정 시 군집화에는 가중치 정보가 특히 유용하고, 대표 뉴런 복원에는 활성화 정보가 유용하다는 실증적 증거를 제공합니다.

arXiv:2609.35579v2cs.LG

대규모 언어 모델을 위한 출력 인지 잔차 스트림 가지치기

Output-aware Residual Stream Pruning for Large Language Models

잔차 스트림(residual stream) 가지치기 기법은 모델의 은닉 차원을 축소하여 추론 비용을 줄이지만, 기존 접근 방식들은 일반적으로 활성화 재구성 오차(activation reconstruction error)를 최소화하는 방식으로 이러한 차원을 선택합니다. 이 기준은 다운스트림 레이어의 민감도를 무시한 채 모든 섭동 방향을 동일하게 중요한 것으로 암묵적으로 취급합니다. 본 논문에서는 이러한 방향 의존적 민감도를 직접 고려하는 잔차 스트림 가지치기용 민감도 인지(sensitivity-aware) 접근 방식을 제안합니다. 출력 KL 발산(KL divergence)에 대한 2차 근사를 사용하여 활성화 공분산과 모델 출력의 국소적 민감도 모두를 통해 잔차 스트림 섭동의 영향을 특성화합니다. 그 결과 도출된 부분공간(subspace) 선택 목적 함수는 이 두 양을 결합하지만 직접 최적화하기는 어렵습니다. 이에 본 연구는 부분공간 선택을 민감도 가중 공분산 행렬의 고유값 분해(eigendecomposition)로 단순화하는 다루기 쉬운 스펙트럼 상한(tractable spectral upper bound)을 도출하여, 회전 기반 가지치기 기법의 효율성과 구조적 단순성을 그대로 유지합니다. 여러 인스트럭션 튜닝(instruction-tuned) 언어 모델 계열 전반에 걸쳐, 본 방법은 활성화 정보만을 사용하는 가지치기에 비해 캘리브레이션 KL 발산을 일관되게 줄이고 다양한 압축 수준에서 퍼플렉서티(perplexity) 및 다운스트림 태스크 성능을 개선합니다. 연구 결과는 잔차 스트림 가지치기에서 활성화 에너지만 보존하는 것으로는 불충분하며, 섭동이 모델 출력으로 전파되는 방식을 명시적으로 고려하는 것이 제거할 차원을 선택하는 데 훨씬 효과적인 기준을 제공함을 보여줍니다.

arXiv:2609.27291v1cs.LG

NGN: 미분 가능한 카운트를 통한 신경망 크기 학습

NGN: Learning Neural Network Size as a Differentiable Count

신경망(neural network) 크기는 대개 학습(training) 전에 결정되어 아키텍처 선택과 가중치(weight) 최적화(optimization)가 분리됩니다. 본 논문에서는 모델(model)이 몇 개의 순서화된 구조적 컴포넌트를 사용해야 하는지 학습하기 위한 미분 가능한 매개변수화 기법인 신경발생 네트워크(Neurogenesis Network, NGN)를 소개합니다. 순서가 지정된 각 컴포넌트 그룹에 대해 하나의 학습 가능한 경계가 모델 파라미터가 학습되는 동안 활성 접두사(active prefix)를 선택합니다. 이 경계는 컴팩트한 초기화(initialization) 상태에서 확장될 수 있으며, 학습된 경계를 넘어선 컴포넌트를 폐기하여 배포할 수 있습니다. 통제된 실험을 통해 학습된 경계의 수렴(convergence), 배포된 접두사의 성능, 그리고 고정 크기 모델 및 용량 학습을 위한 대안적 접근법들과의 비교를 검토합니다. 이후 동일한 메커니즘을 MLP, 합성곱 및 그래프 네트워크, Transformer, 상태 공간 모델(state-space model), LoRA, 어댑터(adapter)에 적용합니다. 이러한 다양한 설정 전반에서 학습된 접두사만 배포해도 대개 성능 변화가 거의 없으며, 선택된 아키텍처는 동일한 크기로 학습된 고정 크기 모델과 유사한 성능을 보입니다. 이러한 결과는 구조적 용량이 카운트 형태로 직접 최적화될 수 있음을 보여줍니다.

arXiv:2609.26177v1cs.CL

크기 프로파일 가지치기: 트랜스포머 압축을 위한 캘리브레이션 없는 구조적 어텐션 헤드 제거

Magnitude Profile Pruning: Calibration-Free Structured Attention Head Removal for Transformer Compression

어텐션(attention) 헤드의 구조적 가지치기(structured pruning)는 트랜스포머(Transformer) 언어 모델을 압축하는 하드웨어 친화적인 방법을 제공합니다. 그러나 헤드 수준의 중요도를 측정하는 기존 방법들은 캘리브레이션(calibration) 데이터, 그래디언트(gradient) 계산 또는 헤시안(Hessian) 추정을 필요로 합니다. 이러한 요구사항은 추가적인 오버헤드를 발생시키고 데이터 의존성을 유발합니다. 본 연구에서는 가중치 행 노름(weight row norm)에 대한 통계적 이상치 탐지를 통해 불필요한 헤드를 식별하는 학습(training) 불필요 헤드 중요도 기준인 크기 프로파일(Magnitude Profile, MP) 스코어링을 제시합니다. 투영 가중치가 전체 분포의 주요 군집(population bulk) 내에 속하는 헤드는 가지치기되고, 불균형적으로 큰 표현 용량을 갖는 이상치 노름을 보이는 헤드는 보존됩니다. 나아가 본 연구는 공유된 키-값(key-value) 그룹 점수를 연관된 쿼리 헤드들에 분배함으로써 그룹 쿼리 어텐션(Grouped Query Attention, GQA)을 처리하는 변형인 MP-G를 제안합니다. 12.5%~50% 헤드 희소성(sparsity)에서 WikiText-2 당혹도(perplexity)로 평가된 5개 모델 전반에서, MP-G는 OPT-6.7B의 모든 희소성 수준(12.5%에서 18.46, 25%에서 27.87, 50%에서 152.0)에서 최고 당혹도를 달성합니다. 또한 MP-G는 RoBERTa-large의 12.5% 및 25% 희소성에서 각각 7.27과 10.28의 당혹도 수치를 기록하며 최고 결과를 보여, Wanda-Head, SparseGPT-Head, Gradient-Head를 포함한 캘리브레이션 의존적 기준 모델들을 능가합니다. 이 방식은 순전파(forward pass), 캘리브레이션 샘플 또는 그래디언트 계산을 전혀 요구하지 않습니다. 50% 희소성에서 헤드 가지치기는 어텐션 FLOP을 50% 절감하면서 최대 16%의 매개변수(parameter) 감소를 달성합니다. 우리의 결과는 가중치 전용 통계적 스코어링이 구조적 헤드 가지치기에서 데이터 의존적 방법들과 대등하거나 그 이상의 성능을 보일 수 있음을 보여주며, 트랜스포머 압축을 위한 실용적이고 비용이 전혀 들지 않는(zero-cost) 기준을 제공합니다.

arXiv:2607.00382v2cs.CV

효율적인 이미지-투-형상 확산 트랜스포머를 위한 활성도 인식 압축

Vitality-Aware Compression for Efficient Image-to-Shape Diffusion Transformers

이미지-투-3D 형상 생성에 특화된 Diffusion Transformer(DiT) 압축 프레임워크를 제안하며, 레이어별 기여도를 Earth Mover's Distance(EMD)로 측정하는 활성도(vitality) 분석을 기반으로 구조적 가지치기(pruning), 적응형 양자화(quantization), 선택적 파인튜닝을 결합한다. Step1X-3D, Hunyuan3D 2.0 등 최신 모델에 적용하여 최대 66%의 모델 크기 감소를 달성하면서도 원본 수준의 기하학적 충실도를 유지함을 실험으로 검증했다.

arXiv:2607.22583v1cs.AI

지연 시간 및 모델 크기 최적화를 위한 LLM 다목적 구조적 가지치기

Multi-Objective Structured Pruning of LLMs for Latency and Model Size Optimization

대규모 언어 모델(LLM)은 강력한 추론 및 질의-응답 능력 덕분에 널리 채택되었다. 그러나 임베디드 및 엣지 컴puting 환경에 이를 배포하는 것은 엄격한 지연 시간, 메모리, 에너지 제약으로 인해 여전히 어렵다. 큰 매개변수 수와 계산 요구량은 자원 제약 플랫폼에서의 효율적 실행을 방해한다. 성능을 유지하면서 규모를 줄이는 실행 가능한 해결책으로 모델 가지치기가 등장했지만, 층, 어텐션 헤드, 다층 퍼셉트론(MLP) 차원을 공동으로 최적화하는 것은 여전히 매우 복잡하다. 이 결합된 설계 공간을 전수 탐색하는 것은 계산 비용이 크고 종종 지역 최적해나 불안정한 구성으로 이어진다. 이러한 한계를 해결하기 위해, 우리는 하드웨어 인식 다목적 구조적 가지치기 프레임워크를 제안한다. 제안된 2단계 방법은 엣지 디바이스에서의 효율적 배포를 위해 지연 시간과 모델 크기를 명시적으로 목표로 한다. 조대한(coarse-grained) 단계에서 다목적 깊이 가지치기는 전체 어텐션 및 MLP 블록을 제거하여 계산 부하와 메모리 사용량을 줄인다. 이후 세밀한(fine-grained) 단계에서 병렬 베이지안 최적화(PBO)는 지연 시간 제약 하에서 가지치기를 위한 최적의 층별 가지치기 비율을 탐색하고, 중요도 기반 전략은 각 층에 할당된 예산 내에서 가지치기할 특정 구성 요소의 순위를 매긴다. 실험 결과는 우리의 접근법이 상식 추론 과제와 제로샷 성능에 미치는 영향을 최소화하면서 모델 복잡도를 줄인다는 것을 보여준다. 우리의 방법은 정확도, 지연 시간, 모델 크기 간 유리한 트레이드오프를 달성하여 엣지 배포에 적합하다. 37.5% 및 50% 가지치기 비율에서 여러 LLM에 걸쳐, 제안된 접근법은 추론 비용을 크게 줄이면서 기존 방법보다 상식 추론 과제에서 더 나은 성능을 달성한다.

arXiv:2607.22587v1cs.AI

TriSP: 대규모 언어 모델을 위한 삼중 신호 구조적 가지치기

TriSP: Tri-Signal Structured Pruning for Large Language Models

대규모 언어 모델(LLM)은 다양한 작업에서 뛰어난 성능을 달성하지만, 매개변수로 인한 메모리 및 연산 비용이 배포를 제약한다. 구조적 가지치기(structured pruning)는 어텐션 헤드와 다층 퍼셉트론(MLP) 뉴런과 같은 전체 구조를 제거하여 표준 하드웨어에서 효율적으로 실행되는 더 작은 dense 모델을 생성함으로써 이를 해결한다. 그러나 기존 방법은 메모리 사용량이 과도한 그래디언트 기반 중요도 추정, 또는 제거가 손실에 미치는 영향을 직접 측정하지 못하는 활성화 기반 통계적 대리 지표 중 하나에 의존한다. 또한 중요도 기준과 가지치기 후 복구 전략 간의 상호작용은 체계적으로 연구되지 않았다. 우리는 활성화 노름으로 스케일링한 가중치 크기와 1차 그래디언트 민감도를 기하평균을 통해 결합하여 구조적 신호와 손실 민감도 신호를 모두 포착하는 채널 수준 점수를 생성하는 중요도 지표인 TriSP(Tri-Signal Structured Pruning)를 제안한다. 적응적 층별 예산 할당과 저랭크 적응(LoRA) 복구와 결합하면, TriSP는 모든 테스트 구성에서 최저 perplexity와 최고 제로샷 정확도를 달성하며, LLaMA-7B에서 20% 가지치기 시 WikiText-2 perplexity 6.80에 도달한다. 50% 가지치기에서 추론 처리량이 82% 향상되며, 여전히 경쟁력 있는 성능을 유지한다.

arXiv:2607.13124v1cs.LG

ShortOPD: Short-to-Long 온-정책 지식 증류로 가지치기된 LLM 복구

ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation

구조적 가지치기(structured pruning)는 대규모 언어 모델(LLM)을 압축하는 하드웨어 친화적인 방법이지만, 대부분 객관식 인식 과제에서 검증되는 반면, 동일한 압축 체크포인트는 실제 배포에 필요한 자유 형식 생성에서 붕괴할 수 있다. 이 격차를 설명하는 두 가지 관찰이 있다. 첫째, 탐욕적 pass@1은 압축 후 거의 사라지지만, pass@k는 반복 샘플링에서 상당히 회복된다: 유용한 생성은 지워진 것이 아니라 순위가 낮아진 것이다. 둘째, 회복 가능한 영역은 주로 접미사 반복을 통해 실패한다. 따라서 복구는 압축된 모델 자체의 온-정책 상태에서 밀집한 토큰 수준 감독으로 학습해야 하며, 온-정책 지식 증류(On-Policy Distillation, OPD)는 압축 이전 모델을 고정 교사로 재사용하여 이를 제공한다. 그러나 긴 온-정책 롤아웃은 초기 복구 예산을 정보가 적은 반복적 접미사에 소비하여 손실 하강을 지연시킨다. 이 낭비를 완화하기 위해, 교사가 확인한 반복적 접미사를 감지하고, 남아 있는 접두 문맥을 각 롤아웃의 유효 길이로 취급하며, 향후 롤아웃 예산을 정책이 현재 사용할 수 있는 유효 길이에 할당하는 짧은-에서-긴(short-to-long) OPD 스케줄인 ShortOPD를 제안한다. 수학, 코드, 개방형 생성 전반에 걸쳐, ShortOPD는 압축 모델의 점수를 복구되지 않은 값의 약 9배로, 표준 복구 기법(SFT w/o KD, KD, SeqKD) 대비 1.6–4.4배로 끌어올리며, 고정 8192-토큰 롤아웃 horizon을 2점 이내로 맞추면서 학습 시간의 4분의 1(8.5 vs. 35.9시간)과 71% 더 적은 롤아웃 토큰을 사용한다. 이 방법이 구조적 가지치기가 perplexity와 객관식 벤치마크에서의 미미한 향상을 넘어, 배포 가능한 생성 품질에 한 발 더 다가가도록 돕기를 바란다.

arXiv:2502.07780v4cs.LG공식 코드 · Papers with Code

DarwinLM: 대규모 언어 모델의 진화적 구조적 가지치기

DarwinLM: Evolutionary Structured Pruning of Large Language Models

대규모 언어 모델(LLM)은 다양한 자연어 처리(NLP) 태스크에서 상당한 성공을 거두었다. 그러나 거대한 계산 비용은, 특히 실시간 응용에서, 이들의 널리 사용을 제한한다. 구조적 가지치기(structured pruning)는 모델을 압축하고 하드웨어 환경과 무관하게 end-to-end 속도 향상을 직접 제공함으로써 효과적인 해결책을 제시한다. 한편, 모델의 서로 다른 구성 요소는 가지치기에 대해 서로 다른 민감도를 보이므로, 균일하지 않은(non-uniform) 모델 압축이 필요하다. 그러나 가지치기 방법은 유능한 하위 구조를 식별하는 것뿐만 아니라 압축 후 학습도 고려해야 한다. 이를 위해 우리는 학습을 고려한(training-aware) 구조적 가지치기 방법인 DarwinLM을 제안한다. DarwinLM은 진화적 탐색 과정을 기반으로 하며, 각 세대에서 변이(mutation)를 통해 여러 자손 모델을 생성하고 생존에 가장 적합한 것을 선택한다. 사후 학습의 효과를 평가하기 위해, 우리는 자손 집단 내에 경량의 다단계 학습 과정을 통합하여 토큰 수를 점진적으로 늘리고 각 선택 단계에서 성능이 낮은 모델을 제거한다. 우리는 Llama-2-7B, Llama-3.1-8B, Qwen-2.5-14B-Instruct에 대한 광범위한 실험을 통해 방법을 검증하였으며, 구조적 가지치기에서 최신(state-of-the-art) 성능을 달성하였다. 예를 들어, DarwinLM은 압축 후 학습 동안 5배 적은 학습 데이터를 필요로하면서 ShearedLlama를 능가한다. 코드: https://github.com/IST-DASLab/DarwinLM

arXiv:2607.08027v1cs.CL

거듭제곱 변환과 부호 보존 점수 집계 및 적응적 특징 보존을 통한 대규모 언어 모델의 구조적 가지치기

Structured Pruning of Large Language Models via Power Transformation and Sign-Preserving Score Aggregation with Adaptive Feature Retention

비구조적 가지치기 기법인 AFR(Adaptive Feature Retention)을 구조적 가지치기에 적용할 때 발생하는 이종 점수 간 분포 불일치, 부호 정보 손실, 이상값 영향 문제를 해결하기 위해, 거듭제곱 변환·부호 보존 점수 집계·백분위수 기반 이상값 제거를 결합한 통합 방법을 제안한다. Llama-3-8B, Vicuna-v1.5-13B, LLaVA-v1.5-13B 실험에서 50% 가지치기 시 최대 21.27포인트 성능 향상과 1.56–1.57× 추론 속도 향상을 달성했다.