arXiv:2610.02559v1 cs.LG

시그모이드 신경망의 사후 학습 압축을 위한 역활성화 회귀 기반 뉴런 병합

Neuron merging via inverse-activation regression for post-training compression of sigmoid neural networks

Ao Kuniya, Jun Ohkubo

제출 2026-10-01

저자 비고

arXiv Comments

9 pages, 7 figures

한국어 초록

신경망의 규모가 지속적으로 커짐에 따라, 제한된 계산 자원 환경에서의 효율적인 추론을 위한 모델 압축의 중요성이 점차 커지고 있습니다. 구조적 가지치기(structured pruning) 방식은 덜 중요하다고 추정되는 뉴런이나 채널을 제거하지만, 이렇게 제거된 단위들도 여전히 유용한 정보를 담고 있을 수 있습니다. 학습된 네트워크를 조대화(coarse-graining)하는 관점에서 볼 때, 여러 뉴런 자유도가 통합될 때 어떤 정보를 보존해야 하는지 묻는 것은 가치 있는 일입니다. 본 논문에서는 학습된 신경망의 압축을 위한 군집 기반 병합 방법을 논의합니다. 데이터가 필요 없는(data-free) 기여도 가중 평균 방식뿐만 아니라, 뉴런 반응을 역활성화 함수를 통해 사전 활성화(pre-activation) 공간으로 역매핑하고 최소자승법을 사용하여 각 대표 뉴런의 가중치와 편향을 추정하는 뉴런 병합 방법을 제안합니다. 또한 실제 학습 입력을 활용하는 데이터 보조 전략과 무작위로 생성된 입력을 사용하는 데이터 무관(data-free) 전략을 모두 검토합니다. 이러한 비교를 통해 실험 대상인 시그모이드 네트워크에서 병합 과정 시 군집화에는 가중치 정보가 특히 유용하고, 대표 뉴런 복원에는 활성화 정보가 유용하다는 실증적 증거를 제공합니다.

원문 초록

As neural networks continue to grow in scale, model compression is becoming increasingly important for efficient inference under limited computational resources. Structured pruning methods remove neurons or channels that are estimated to be less important, but the removed units may still contain useful information. From the viewpoint of coarse-graining a trained network, it is valuable to ask which information should be retained when multiple neuronal degrees of freedom are consolidated. In this paper, we discuss cluster-based merging methods for compression of trained neural networks. In addition to a data-free contribution-weighted averaging method, we propose neuron-merging methods in which neuron responses are mapped back to the pre-activation space via the inverse activation function, and the weights and biases of each representative neuron are estimated using the least-squares method. We also examine both a data-assisted strategy with actual training inputs and a data-free strategy using randomly generated inputs. The comparisons provide empirical evidence, in the tested sigmoid networks, that weight information is particularly useful for clustering whereas activation information is useful for representative-neuron reconstruction in the merging process.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02559v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15781v1cs.LG공통 태그 Model Compression, structured pruning

하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기

Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models

학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.

arXiv:2609.35579v2cs.LG공통 태그 Model Compression, structured pruning

대규모 언어 모델을 위한 출력 인지 잔차 스트림 가지치기

Output-aware Residual Stream Pruning for Large Language Models

잔차 스트림(residual stream) 가지치기 기법은 모델의 은닉 차원을 축소하여 추론 비용을 줄이지만, 기존 접근 방식들은 일반적으로 활성화 재구성 오차(activation reconstruction error)를 최소화하는 방식으로 이러한 차원을 선택합니다. 이 기준은 다운스트림 레이어의 민감도를 무시한 채 모든 섭동 방향을 동일하게 중요한 것으로 암묵적으로 취급합니다. 본 논문에서는 이러한 방향 의존적 민감도를 직접 고려하는 잔차 스트림 가지치기용 민감도 인지(sensitivity-aware) 접근 방식을 제안합니다. 출력 KL 발산(KL divergence)에 대한 2차 근사를 사용하여 활성화 공분산과 모델 출력의 국소적 민감도 모두를 통해 잔차 스트림 섭동의 영향을 특성화합니다. 그 결과 도출된 부분공간(subspace) 선택 목적 함수는 이 두 양을 결합하지만 직접 최적화하기는 어렵습니다. 이에 본 연구는 부분공간 선택을 민감도 가중 공분산 행렬의 고유값 분해(eigendecomposition)로 단순화하는 다루기 쉬운 스펙트럼 상한(tractable spectral upper bound)을 도출하여, 회전 기반 가지치기 기법의 효율성과 구조적 단순성을 그대로 유지합니다. 여러 인스트럭션 튜닝(instruction-tuned) 언어 모델 계열 전반에 걸쳐, 본 방법은 활성화 정보만을 사용하는 가지치기에 비해 캘리브레이션 KL 발산을 일관되게 줄이고 다양한 압축 수준에서 퍼플렉서티(perplexity) 및 다운스트림 태스크 성능을 개선합니다. 연구 결과는 잔차 스트림 가지치기에서 활성화 에너지만 보존하는 것으로는 불충분하며, 섭동이 모델 출력으로 전파되는 방식을 명시적으로 고려하는 것이 제거할 차원을 선택하는 데 훨씬 효과적인 기준을 제공함을 보여줍니다.

arXiv:2609.28262v1cs.CV공통 태그 Clustering, Model Compression

RAMP: 엣지 CPU 비전 모델을 위한 강건한 적응형 혼합 정밀도 양자화

RAMP: Robust Adaptive Mixed-Precision Quantization for Edge CPU Vision Models

엣지 CPU에 심층 학습 모델을 배포할 때는 계산 및 메모리 제약이 병목이 된다. 혼합 정밀도 양자화는 정확도를 유지하면서 추론 지연을 줄일 수 있다고 기대된다. 그러나 양자화는 층 유형마다 서로 다르게 영향을 미치므로, 정확도 손실이 최소화되고 지연 감소가 최대화되는 위치를 찾는 것이 중요하며, 그 효과는 전체 배포에 걸쳐 누적되어 상당한 이득 또는 허용 불가능한 과제 성능 저하로 이어진다. 이러한 식별은 민감도 지표, 즉 모든 후보 정책의 과제 정확도를 평가하지 않고 층별 열화를 추정하는 대리 지표에 의존한다. 그럼에도 널리 쓰이는 지표는 최신 아키텍처에서 체계적으로 실패한다. 우리는 서로 뚜렷이 다른 네 개의 신경망에 걸친 층별 INT8 양자화에 대한 13개 민감도 지표의 체계적 실증 연구를 제시하고, 그로부터 얻은 정책을 두 ARM64 플랫폼에서 검증한다. 그래디언트 기반 민감도 방법은 8개 모델-하드웨어 구성 중 4개에서 실패하고, 가중치 기반 통계는 2개에서 실패한다. 반면 Jensen-Shannon Divergence는 치명적 실패가 전혀 없으며, 안전하게 양자화할 수 없는 층을 안정적으로 분리한다. 민감도 지표만으로는 정책이 정의되지 않으며, 그 단계에 흔히 쓰이는 고정 임계값은 최신 아키텍처의 고도로 치우친 분포에서 취약하다. 우리는 K-Means 클러스터링으로 이를 해결하여 거의 무손실 정확도와 전체 정밀도 모델 대비 평균 $1.81\times$ 속도 향상을 달성한다. 마지막으로, 민감도와 관계없이 속도 향상이 미미한 층을 양자화에서 제외하는 것이 역효과를 낼 수 있음을 밝힌다. 이는 계산 그래프 단편화를 유발하고 연산자 융합(operator fusion)을 비활성화하기 때문이다. 우리 결과는 GPU 접근이나 그래디언트 계산 없이 이질적 엣지 CPU에 양자화된 비전 모델을 배포하는 실무자와 연구자에게 구체적인 할당 정책을 제공한다.

arXiv:2609.26177v1cs.CL공통 태그 Model Compression, structured pruning

크기 프로파일 가지치기: 트랜스포머 압축을 위한 캘리브레이션 없는 구조적 어텐션 헤드 제거

Magnitude Profile Pruning: Calibration-Free Structured Attention Head Removal for Transformer Compression

어텐션(attention) 헤드의 구조적 가지치기(structured pruning)는 트랜스포머(Transformer) 언어 모델을 압축하는 하드웨어 친화적인 방법을 제공합니다. 그러나 헤드 수준의 중요도를 측정하는 기존 방법들은 캘리브레이션(calibration) 데이터, 그래디언트(gradient) 계산 또는 헤시안(Hessian) 추정을 필요로 합니다. 이러한 요구사항은 추가적인 오버헤드를 발생시키고 데이터 의존성을 유발합니다. 본 연구에서는 가중치 행 노름(weight row norm)에 대한 통계적 이상치 탐지를 통해 불필요한 헤드를 식별하는 학습(training) 불필요 헤드 중요도 기준인 크기 프로파일(Magnitude Profile, MP) 스코어링을 제시합니다. 투영 가중치가 전체 분포의 주요 군집(population bulk) 내에 속하는 헤드는 가지치기되고, 불균형적으로 큰 표현 용량을 갖는 이상치 노름을 보이는 헤드는 보존됩니다. 나아가 본 연구는 공유된 키-값(key-value) 그룹 점수를 연관된 쿼리 헤드들에 분배함으로써 그룹 쿼리 어텐션(Grouped Query Attention, GQA)을 처리하는 변형인 MP-G를 제안합니다. 12.5%~50% 헤드 희소성(sparsity)에서 WikiText-2 당혹도(perplexity)로 평가된 5개 모델 전반에서, MP-G는 OPT-6.7B의 모든 희소성 수준(12.5%에서 18.46, 25%에서 27.87, 50%에서 152.0)에서 최고 당혹도를 달성합니다. 또한 MP-G는 RoBERTa-large의 12.5% 및 25% 희소성에서 각각 7.27과 10.28의 당혹도 수치를 기록하며 최고 결과를 보여, Wanda-Head, SparseGPT-Head, Gradient-Head를 포함한 캘리브레이션 의존적 기준 모델들을 능가합니다. 이 방식은 순전파(forward pass), 캘리브레이션 샘플 또는 그래디언트 계산을 전혀 요구하지 않습니다. 50% 희소성에서 헤드 가지치기는 어텐션 FLOP을 50% 절감하면서 최대 16%의 매개변수(parameter) 감소를 달성합니다. 우리의 결과는 가중치 전용 통계적 스코어링이 구조적 헤드 가지치기에서 데이터 의존적 방법들과 대등하거나 그 이상의 성능을 보일 수 있음을 보여주며, 트랜스포머 압축을 위한 실용적이고 비용이 전혀 들지 않는(zero-cost) 기준을 제공합니다.

arXiv:2609.22562v1cs.CV공통 태그 Clustering, Model Compression

AdaMerge: 다중 벡터 시각적 문서 검색을 위한 튜닝 불필요 패치 압축

AdaMerge: Tuning-Free Patch Compression for Multi-Vector Visual Document Retrieval

ColPali 및 ColNomic과 같은 다중 벡터 시각적 문서 검색(Visual Document Retrieval, VDR) 모델은 각 문서를 수백에서 수천 개의 패치 수준 임베딩(embedding)으로 표현하여 높은 정확도를 달성하지만, 상당한 저장 공간과 지연 시간 비용을 초래합니다. 기존 압축 방법은 중요하지 않은 패치를 가지치기(pruning)하거나 유사한 패치를 클러스터로 병합합니다. 최근 최고 성능의 병합 방법인 PtM(Prune-then-Merge)은 고압축 환경에서 가지치기 전용 베이스라인을 일관되게 능가하지만, 그리드 탐색을 통해 데이터셋(dataset)별 클러스터 예산 m을 튜닝해야 합니다. 본 연구에서는 계층적 군집화에 의해 생성된 병합-코사인 시퀀스가 병합 가능한 중복성과 두드러진 신호를 구분하는 급격한 절벽(cliff)을 보이며, 이 절벽의 위치가 14개 데이터셋의 11,000개 이상 문서에 걸쳐 좁은 대역에 집중되어 있음을 관찰했습니다. 이는 병합 경계를 데이터셋별로 튜닝하는 대신 문서별로 탐지할 수 있음을 시사합니다. 이러한 관찰을 바탕으로, 우리는 (i) 병합-코사인 궤적에 대한 갭 분석을 통해 각 문서 자체의 절벽을 탐지하고, (ii) 두드러진 신호를 보존하기 위해 어텐션(attention) 가중 클러스터 중심을 구축하는 플러그 앤 플레이 압축 방법인 AdaMerge를 제안합니다. 긴 문서 벤치마크인 ViDoRe-V2(4개 데이터셋, 2개 백본)에서 AdaMerge는 전체 작동 범위에 걸쳐 튜닝된 PtM을 유의미하게 능가하며(p < 10^-4), 모든 병합 방법이 이미 거의 무손실에 가까운 짧은 문서 벤치마크 ViDoRe-V1(10개 데이터셋, 2개 백본)에서는 데이터셋별 튜닝 없이도 튜닝된 PtM과 동등한 성능을 달성합니다. AdaMerge는 문서당 약 10ms만 추가하며, 모든 데이터셋과 백본에서 공유되는 단 하나의 전역 하이퍼파라미터(hyperparameter)만을 가집니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.