arXiv:2606.11836v1 cs.SD

매개변수 클러스터링을 통한 음성 파운데이션 모델의 데이터 및 학습 불필요한 압축

Towards Data-free and Training-free Compression for Speech Foundation Models Using Parameter Clustering

Haoning Xu, Zhaoqing Li, Huimeng Wang, Youjun Chen, Chengxi Deng, Mengzhe Geng, Xunying Liu

제출 2026-06-10

한국어 초록

본 논문은 k-means를 통한 채널별 클러스터링을 사용하여 음성 파운데이션 모델을 위한 새로운 데이터 및 학습 불필요한 압축 접근 방식을 제시합니다. 또한 층별 매개변수 클러스터 수를 달리하여 더 세분화된 혼합 희소성 가지치기도 탐구합니다. LibriSpeech 데이터셋에서 수행된 실험에 따르면, HuBERT-large에서 50%의 가지치기 희소성으로 작동할 때, 미세조정 전 test-clean 및 test-other 부분집합에서 크기 기반 가지치기 대비 절대값 27.73%/18.61%(상대값 34.37%/21.91%)의 일관된 WER 감소를 달성했으며, 단 3 에포크의 미세조정 후에는 절대값 0.19%/0.79%(상대값 3.36%/4.62%)의 감소를 달성했습니다. Whisper-large-v3에서 10% 희소성으로 크기 기반 가지치기와 비교했을 때도 절대값 2.86%/5.02%(상대값 59.21%/55.29%)의 유사한 WER 감소가 관찰되었으며, 모든 경우 압축되지 않은 기준선 대비 유의미한 WER 증가 없이 수행되었습니다.

원문 초록

This paper presents a novel data-free and training-free compression approach for speech foundation models using channelwise clustering via k-means. More fine-grained, mixed sparsity pruning by layer-level varying number of parameter clusters is also explored. Experiments conducted on the LibriSpeech dataset suggest that when operating with pruning sparsity of 50% on HuBERT-large, consistent WER reductions of 27.73%/18.61% absolute (34.37%/21.91% relative) over the magnitude-based pruning were obtained on the test-clean and test-other subsets before fine-tuning and 0.19%/0.79% absolute (3.36%/4.62% relative) after fine-tuning with only 3 epochs. Similar WER reductions of 2.86%/5.02% absolute (59.21%/55.29% relative) were observed against magnitudebased pruning on Whisper-large-v3 at 10% sparsity, all with no significant WER increase relative to the uncompressed baseline.

요약

k-means를 활용한 파라미터 클러스터링을 통해 데이터와 추가 학습 없이 음성 파운데이션 모델을 압축하는 방법을 제안한다. HuBERT-large와 Whisper-large-v3에 대한 실험 결과, 크기 기반 프루닝 대비 파인튜닝 전후로 WER을 유의미하게 감소시키면서도 압축되지 않은 모델과 비교하여 성능 저하 없이 효율적인 압축을 달성했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11836v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02559v1cs.LG공통 태그 Clustering, Model Compression

시그모이드 신경망의 사후 학습 압축을 위한 역활성화 회귀 기반 뉴런 병합

Neuron merging via inverse-activation regression for post-training compression of sigmoid neural networks

신경망의 규모가 지속적으로 커짐에 따라, 제한된 계산 자원 환경에서의 효율적인 추론을 위한 모델 압축의 중요성이 점차 커지고 있습니다. 구조적 가지치기(structured pruning) 방식은 덜 중요하다고 추정되는 뉴런이나 채널을 제거하지만, 이렇게 제거된 단위들도 여전히 유용한 정보를 담고 있을 수 있습니다. 학습된 네트워크를 조대화(coarse-graining)하는 관점에서 볼 때, 여러 뉴런 자유도가 통합될 때 어떤 정보를 보존해야 하는지 묻는 것은 가치 있는 일입니다. 본 논문에서는 학습된 신경망의 압축을 위한 군집 기반 병합 방법을 논의합니다. 데이터가 필요 없는(data-free) 기여도 가중 평균 방식뿐만 아니라, 뉴런 반응을 역활성화 함수를 통해 사전 활성화(pre-activation) 공간으로 역매핑하고 최소자승법을 사용하여 각 대표 뉴런의 가중치와 편향을 추정하는 뉴런 병합 방법을 제안합니다. 또한 실제 학습 입력을 활용하는 데이터 보조 전략과 무작위로 생성된 입력을 사용하는 데이터 무관(data-free) 전략을 모두 검토합니다. 이러한 비교를 통해 실험 대상인 시그모이드 네트워크에서 병합 과정 시 군집화에는 가중치 정보가 특히 유용하고, 대표 뉴런 복원에는 활성화 정보가 유용하다는 실증적 증거를 제공합니다.

arXiv:2609.28262v1cs.CV공통 태그 Clustering, Model Compression

RAMP: 엣지 CPU 비전 모델을 위한 강건한 적응형 혼합 정밀도 양자화

RAMP: Robust Adaptive Mixed-Precision Quantization for Edge CPU Vision Models

엣지 CPU에 심층 학습 모델을 배포할 때는 계산 및 메모리 제약이 병목이 된다. 혼합 정밀도 양자화는 정확도를 유지하면서 추론 지연을 줄일 수 있다고 기대된다. 그러나 양자화는 층 유형마다 서로 다르게 영향을 미치므로, 정확도 손실이 최소화되고 지연 감소가 최대화되는 위치를 찾는 것이 중요하며, 그 효과는 전체 배포에 걸쳐 누적되어 상당한 이득 또는 허용 불가능한 과제 성능 저하로 이어진다. 이러한 식별은 민감도 지표, 즉 모든 후보 정책의 과제 정확도를 평가하지 않고 층별 열화를 추정하는 대리 지표에 의존한다. 그럼에도 널리 쓰이는 지표는 최신 아키텍처에서 체계적으로 실패한다. 우리는 서로 뚜렷이 다른 네 개의 신경망에 걸친 층별 INT8 양자화에 대한 13개 민감도 지표의 체계적 실증 연구를 제시하고, 그로부터 얻은 정책을 두 ARM64 플랫폼에서 검증한다. 그래디언트 기반 민감도 방법은 8개 모델-하드웨어 구성 중 4개에서 실패하고, 가중치 기반 통계는 2개에서 실패한다. 반면 Jensen-Shannon Divergence는 치명적 실패가 전혀 없으며, 안전하게 양자화할 수 없는 층을 안정적으로 분리한다. 민감도 지표만으로는 정책이 정의되지 않으며, 그 단계에 흔히 쓰이는 고정 임계값은 최신 아키텍처의 고도로 치우친 분포에서 취약하다. 우리는 K-Means 클러스터링으로 이를 해결하여 거의 무손실 정확도와 전체 정밀도 모델 대비 평균 $1.81\times$ 속도 향상을 달성한다. 마지막으로, 민감도와 관계없이 속도 향상이 미미한 층을 양자화에서 제외하는 것이 역효과를 낼 수 있음을 밝힌다. 이는 계산 그래프 단편화를 유발하고 연산자 융합(operator fusion)을 비활성화하기 때문이다. 우리 결과는 GPU 접근이나 그래디언트 계산 없이 이질적 엣지 CPU에 양자화된 비전 모델을 배포하는 실무자와 연구자에게 구체적인 할당 정책을 제공한다.

arXiv:2609.22562v1cs.CV공통 태그 Clustering, Model Compression

AdaMerge: 다중 벡터 시각적 문서 검색을 위한 튜닝 불필요 패치 압축

AdaMerge: Tuning-Free Patch Compression for Multi-Vector Visual Document Retrieval

ColPali 및 ColNomic과 같은 다중 벡터 시각적 문서 검색(Visual Document Retrieval, VDR) 모델은 각 문서를 수백에서 수천 개의 패치 수준 임베딩(embedding)으로 표현하여 높은 정확도를 달성하지만, 상당한 저장 공간과 지연 시간 비용을 초래합니다. 기존 압축 방법은 중요하지 않은 패치를 가지치기(pruning)하거나 유사한 패치를 클러스터로 병합합니다. 최근 최고 성능의 병합 방법인 PtM(Prune-then-Merge)은 고압축 환경에서 가지치기 전용 베이스라인을 일관되게 능가하지만, 그리드 탐색을 통해 데이터셋(dataset)별 클러스터 예산 m을 튜닝해야 합니다. 본 연구에서는 계층적 군집화에 의해 생성된 병합-코사인 시퀀스가 병합 가능한 중복성과 두드러진 신호를 구분하는 급격한 절벽(cliff)을 보이며, 이 절벽의 위치가 14개 데이터셋의 11,000개 이상 문서에 걸쳐 좁은 대역에 집중되어 있음을 관찰했습니다. 이는 병합 경계를 데이터셋별로 튜닝하는 대신 문서별로 탐지할 수 있음을 시사합니다. 이러한 관찰을 바탕으로, 우리는 (i) 병합-코사인 궤적에 대한 갭 분석을 통해 각 문서 자체의 절벽을 탐지하고, (ii) 두드러진 신호를 보존하기 위해 어텐션(attention) 가중 클러스터 중심을 구축하는 플러그 앤 플레이 압축 방법인 AdaMerge를 제안합니다. 긴 문서 벤치마크인 ViDoRe-V2(4개 데이터셋, 2개 백본)에서 AdaMerge는 전체 작동 범위에 걸쳐 튜닝된 PtM을 유의미하게 능가하며(p < 10^-4), 모든 병합 방법이 이미 거의 무손실에 가까운 짧은 문서 벤치마크 ViDoRe-V1(10개 데이터셋, 2개 백본)에서는 데이터셋별 튜닝 없이도 튜닝된 PtM과 동등한 성능을 달성합니다. AdaMerge는 문서당 약 10ms만 추가하며, 모든 데이터셋과 백본에서 공유되는 단 하나의 전역 하이퍼파라미터(hyperparameter)만을 가집니다.

arXiv:2607.19368v1cs.AI공통 태그 Clustering, Model Compression

Spectral-LSH: Krylov 투영 국소민감 해싱을 통한 준이차 프롬프트 압축

Spectral-LSH: Sub-Quadratic Prompt Compression via Krylov-Projected Locality-Sensitive Hashing

긴 프롬프트 추론은 prefill 어텐션이 시퀀스 길이에 대해 이차적으로 스케일링되기 때문에 여전히 비용이 큽니다. 우리는 Spectral-LSH를 제안합니다. 이는 프롬프트가 언어 모델에 들어가기 전에 동작하는 무학습 프롬프트 압축 방법입니다. Spectral-LSH는 Krylov 부분공간(subspace) 방법과 랜덤 특징(random features)을 함께 사용하여 암시적 어텐션-커널 연산자의 주요 성분을 근사하며, 명시적인 $O(N^2)$ 어텐션-커널 구체화(materialization)를 피합니다. 그다음 결과적인 어텐션 고유공간(eigenspace)에서 SimHash를 적용하여 유사한 토큰을 그룹화하고, 인과적(causal) 위치 할당으로 이를 거시 토큰(macro-tokens)으로 집약합니다. 우리는 C4에서 Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct, Qwen2.5-14B-Instruct를 평가합니다. 실험 결과 압축률(compression ratio)의 위상 전이(phase transition)가 나타납니다. $ρ= 4 \times$ 미만에서는 지역적 토큰 중복도가 충분히 낮아 경량 청킹(chunking)이 일반적으로 최상의 지연-품질(latency-quality) 트레이드오프를 제공합니다. $ρ= 8 \times$ 이상에서는 스펙트럴(spectral) 경로가 청킹이 잃는 품질을 보존합니다. $ρ= 16 \times$에서 Qwen2.5-7B(adaptive)는 PPL 비율을 353.409에서 196.963으로 낮추고, Qwen2.5-14B(adaptive)는 9.533에서 3.427로 낮춥니다. JSON 유사, 코드 유사, 표 유사 입력을 포함하는 소규모 장문맥 구조화 스트레스 테스트에서, 지역 LSH 또한 $8 \times$에서 청킹 대비 모든 지표를 개선합니다. 적응형(adaptive) 백엔드는 낮은 압축에서는 청킹 경로를, 높은 압축에서는 스펙트럴 클러스터링을 사용하여 두 영역을 모두 포착하지만, 총 지연 시간(total latency)에서는 청킹이 여전히 가장 빠른 백엔드입니다.

arXiv:2607.21426v2cs.LG공통 태그 Clustering

건설적·협력적 멀티태스킹을 위한 의미 인식 태스크 클러스터링

Semantic-Aware Task Clustering for Constructive and Cooperative Multi-Tasking

협력적 멀티태스크 의미 통신(cooperative multi-task semantic communication, CMT-SemCom)은 공유 표현을 활용하여 태스크 실행 성능을 향상시킨다. 그러나 [1]에서 보인 바와 같이, 협력적 멀티태스킹은 태스크 간 의미적 관계에 따라 건설적일 수도 있고 파괴적일 수도 있다. 건설적 협력을 보장하기 위해, 우리는 CMT-SemCom을 위한 의미 인식 태스크 클러스터링 방법을 제안한다. 짧은 초기 학습 단계 이후 의미적으로 정렬된 태스크가 한 번 클러스터링되고, 이후 발견된 그룹 내에서만 엔드투엔드(end-to-end, E2E) 공동 학습이 수행되는 순차적 다단계 최적화 문제를 수식화했다. 구체적으로, 이 문제는 두 단계로 분해된다: (i) 계층적 밀도 기반 공간 클러스터링(hierarchical density-based spatial clustering)을 활용한 의미 클러스터링 문제, (ii) 클러스터 내 E2E CMT-SemCom 학습 문제. 시뮬레이션 결과는 제안된 프레임워크가 파괴적 협력과 부정적 전이(negative transfer)를 효과적으로 완화하며, 클러스터링되지 않은 멀티태스킹 및 개별 학습 기준선 대비 정확도 향상을 달성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.