arXiv:2606.18096v2 cs.LG

S4oP: 자원 제약 디바이스를 위한 구조화된 상태 공간 모델의 연산자 수준 가지치기

S4oP: Operator-level Pruning of Structured State Space Models for Resource-Constrained Devices

Marco Deano, Filippo Ziche, Nicola Bombieri

제출 2026-06-16

한국어 초록

구조화된 상태 공간 모델(SSM)은 S4 및 S4D 아키텍처를 포함하여, 최근 시퀀스 데이터에서 장기 의존성을 포착하는 데 있어 어텐션 기반 모델의 강력한 대안으로 부상했다. 그러나 뛰어난 실증적 성능에도 불구하고, 계산 및 메모리 요구량으로 인해 시간 및 자원이 제약된 환경에서 이러한 모델을 배치하는 것은 여전히 어렵다. 본 논문에서는 S4 및 S4D 기반 모델을 위한 새로운 점진적 연산자 수준 가지치기 접근법을 제안한다. 이 방법은 예측 성능을 유지하면서 추론 비용을 크게 줄인다. 우리의 지식 범위 내에서, 본 연구는 SSM에 대한 구조화된 연산자 가지치기를 체계적으로 조사한 최초의 연구이다. 우리의 방법은 구조화된 마스킹과 미세조정을 교차 적용하면서 모델 연산자를 점진적으로 가지치기하고, 정확도와 추론 지연 시간을 함께 모니터링한다. 우리는 이 접근법을 통합 학습 및 평가 프레임워크 내에 구현하여, 효율성-정확도 트레이드오프를 체계적으로 탐험할 수 있게 한다. 여러 벤치마크 데이터셋에 걸친 실험 결과, 모델 연산자의 최대 70%까지 가지치기해도 대부분의 경우 원본 모델의 성능을 유지하면서 추론 지연 시간을 크게 줄일 수 있음을 보여준다. 이러한 결과는 구조화된 연산자 가지치기가 SSM의 효율성을 향상시키는 효과적이고 이전에 탐구되지 않은 전략임을 보여주며, 실용적인 자원 제약 시나리오에서의 배치를 촉진한다.

원문 초록

Structured State Space Models (SSMs), including the S4 and S4D architectures, have recently emerged as powerful alternatives to attention-based models for capturing long-range dependencies in sequential data. Despite their strong empirical performance, deploying these models in time- and resource-constrained settings remains challenging due to their computational and memory demands. In this paper, we propose a novel incremental, operator-level pruning approach for S4- and S4D-based models that significantly reduces inference cost while preserving predictive performance. To the best of our knowledge, this is the first work to systematically investigate structured operator pruning for SSMs. Our method progressively prunes model operators by interleaving structured masking with fine-tuning, while jointly monitoring accuracy and inference latency. We implement this approach within a unified training and evaluation framework that enables systematic exploration of efficiency-accuracy trade-offs. Experiments across multiple benchmark datasets show that pruning up to 70% of the model operators preserves the performance of the original models in most cases, while substantially reducing inference latency. These results demonstrate that structured operator pruning is an effective and previously unexplored strategy for improving the efficiency of SSMs and facilitate their deployment in practical, resource-constrained scenarios.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18096v2
  2. arXiv:2606.18096v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency, Edge-computing, Model Compression

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2610.15781v1cs.LG공통 태그 Computational Efficiency, Edge-computing, Model Compression

하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기

Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models

학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.

arXiv:2609.26061v2cs.NI공통 태그 Computational Efficiency, Edge-computing, Model Compression

TopoCompress: 분산 엣지 MoE 추론을 위한 토폴로지 인식 토큰 압축 알고리즘

TopoCompress: Topology Aware Token Compression Algorithm for Distributed Edge MoE Inference

전문가 혼합(MoE) 모델은 토큰(token)당 전문가를 희소하게 활성화하여 적당한 오버헤드로 용량을 향상시킵니다. 그러나 리소스가 제한된 엣지 서버 전반에 MoE를 배포하면 이기종 서버들에 전문가들이 분산되어 상당한 서버 간 통신이 발생합니다. 기존 배치 방법은 원시 토큰 트래픽에 맞춰 최적화하는 반면, 기존 압축 기법은 의미론을 고려하지만 토폴로지에 따른 라우팅 비용을 무시합니다. 결과적으로 독립적인 최적화는 비효율적인 통신과 리소스 활용으로 이어집니다. 본 논문에서는 통신 효율적인 분산 엣지 MoE 추론(inference)을 위한 배포 및 토폴로지 인식 토큰 압축 프레임워크인 TopoCompress를 제안합니다. 이는 토큰 압축, 전문가 배포/복제, GPU-CPU 상주성, 협업 라우팅을 공동 최적화하여 서버 간 전송, 품질 및 리소스 사용 간의 균형을 맞춥니다. 토큰 수준 압축과 에포크(epoch) 수준 배포 간의 결합을 해결하기 위해, TopoCompress는 2단계 타임스케일 교차 최적화를 사용합니다. 온라인 빠른 루프에서는 중요도가 낮고 라우팅 비용이 높은 토큰을 식별하여 압축하고 잔여 전문가 활성화를 공동으로 라우팅합니다. 오프라인 느린 루프에서는 온라인 추론 중에 축적된 압축 후 트래픽에 따라 전문가 배치, 복제 및 GPU-CPU 상주성을 업데이트합니다. 본 연구는 실현 가능성, 최적성, 수렴(convergence) 및 계산 복잡도를 규명합니다. 시뮬레이션을 통해 TopoCompress가 제어 가능한 추론 품질을 유지하면서 서버 간 트래픽과 배포 리소스 소비를 효과적으로 줄여, 대역폭 및 리소스가 제한된 엣지 인프라에서 효율적인 분산 MoE 추론을 가능하게 함을 입증합니다.

arXiv:2609.27411v1cs.LG공통 태그 Computational Efficiency, Edge-computing, State Space Models

라벨이 희소할 때: 진동 진단을 위한 진동형 상태 공간 모델

When Labels Are Scarce: An Oscillatory State Space Model for Vibration Diagnosis

진동 기반 기계 고장 진단은 로컬 추론을 위한 엣지 디바이스의 계산 제약을 만족하면서, 라벨이 희소한 고장 녹음으로부터 학습해야 한다. 본 연구는 DualRes를 제안한다. 이는 진동의 두 가지 상보적 스펙트럼 관점을 결합하는 소형 진동형 상태 공간 모델로, 급격한 변화와 미세한 주파수 구조를 포착한다. 시간 정렬된 관점은 선택적 진동 기억(selective oscillatory memory)으로 처리되며, 시간적 패턴을 얼마나 오래 유지할지 학습한다. 인코더는 39,528개의 파라미터를 포함한다. 여섯 개의 베어링 데이터셋과 기어박스 벤치마크, 그리고 추가 기어박스 파일럿에서 지도 학습을 평가했다. 녹음 단위 분할과 라벨링된 구간에 대한 명시적 집계는 상관된 샘플에 대한 반복 노출과 데이터 효율을 구분한다. 주요 기어박스 벤치마크에서 DualRes는 일곱 가지 라벨 예산 중 여섯에서 평가된 아홉 가지 방법 가운데 최첨단 성능을 달성했다. 클래스당 약 6초의 라벨링된 데이터로, 차순위 비교 방법 대비 macro-F1을 16.1퍼센트포인트 향상시켰다. 동일 벤치마크에서 DualRes는 동일한 하드웨어 및 런타임 조건 하 선택적 상태 공간 기준선 대비 녹음 단위 속도 1.44배 향상과 체크포인트 저장량 24.8배 감소를 달성했다. 베어링 결과는 과제에 따른 trade-off를 보여준다. 이러한 결과는 제한된 라벨 노출 하에서 진동 진단을 위한 컴팩트한 접근으로서 진동 기억을 뒷받침한다.

arXiv:2609.28262v1cs.CV공통 태그 Computational Efficiency, Edge-computing, Model Compression

RAMP: 엣지 CPU 비전 모델을 위한 강건한 적응형 혼합 정밀도 양자화

RAMP: Robust Adaptive Mixed-Precision Quantization for Edge CPU Vision Models

엣지 CPU에 심층 학습 모델을 배포할 때는 계산 및 메모리 제약이 병목이 된다. 혼합 정밀도 양자화는 정확도를 유지하면서 추론 지연을 줄일 수 있다고 기대된다. 그러나 양자화는 층 유형마다 서로 다르게 영향을 미치므로, 정확도 손실이 최소화되고 지연 감소가 최대화되는 위치를 찾는 것이 중요하며, 그 효과는 전체 배포에 걸쳐 누적되어 상당한 이득 또는 허용 불가능한 과제 성능 저하로 이어진다. 이러한 식별은 민감도 지표, 즉 모든 후보 정책의 과제 정확도를 평가하지 않고 층별 열화를 추정하는 대리 지표에 의존한다. 그럼에도 널리 쓰이는 지표는 최신 아키텍처에서 체계적으로 실패한다. 우리는 서로 뚜렷이 다른 네 개의 신경망에 걸친 층별 INT8 양자화에 대한 13개 민감도 지표의 체계적 실증 연구를 제시하고, 그로부터 얻은 정책을 두 ARM64 플랫폼에서 검증한다. 그래디언트 기반 민감도 방법은 8개 모델-하드웨어 구성 중 4개에서 실패하고, 가중치 기반 통계는 2개에서 실패한다. 반면 Jensen-Shannon Divergence는 치명적 실패가 전혀 없으며, 안전하게 양자화할 수 없는 층을 안정적으로 분리한다. 민감도 지표만으로는 정책이 정의되지 않으며, 그 단계에 흔히 쓰이는 고정 임계값은 최신 아키텍처의 고도로 치우친 분포에서 취약하다. 우리는 K-Means 클러스터링으로 이를 해결하여 거의 무손실 정확도와 전체 정밀도 모델 대비 평균 $1.81\times$ 속도 향상을 달성한다. 마지막으로, 민감도와 관계없이 속도 향상이 미미한 층을 양자화에서 제외하는 것이 역효과를 낼 수 있음을 밝힌다. 이는 계산 그래프 단편화를 유발하고 연산자 융합(operator fusion)을 비활성화하기 때문이다. 우리 결과는 GPU 접근이나 그래디언트 계산 없이 이질적 엣지 CPU에 양자화된 비전 모델을 배포하는 실무자와 연구자에게 구체적인 할당 정책을 제공한다.

arXiv:2609.24757v1cs.AR공통 태그 Computational Efficiency, Edge-computing, Model Compression

NPU 가속기: FINN을 활용한 PYNQ-Z1 기반의 양자화된 실시간 차량 검출

NPU Accelerator: Quantized Real-Time Vehicle Detection on PYNQ-Z1 Using FINN

본 논문에서는 자원 제약이 있는 PYNQ-Z1 보드의 Xilinx Zynq XC7Z020 디바이스에서 실시간 차량 검출을 수행하기 위한 신경망 처리 장치(NPU) 가속기의 설계, 최적화, 구현 및 보드 상 검증(on-board validation)을 제시합니다. 본 연구는 양자화 인식 학습(QAT), 경량 YOLO 기반 검출기, Brevitas/QONNX 모델 익스포트, FINN 데이터플로우 컴파일, Vivado 구현, 그리고 대상 보드에서의 물리적 벤치마킹을 결합한 하드웨어/소프트웨어 통합 설계 방법론을 따릅니다. 성공적인 배포를 정의하는 네 가지 동시 엔지니어링 요구 조건은 30 FPS 이상의 처리량(throughput), 7 FPS/W 이상의 에너지 효율, 50 ms 미만의 프로그래머블 로직(PL) 하드웨어 지연 시간(latency), 0.55 [email omitted] 초과하는 Pascal VOC 검출 정확도입니다. 설계 공간에는 LP-YOLO 및 LP-YOLO Slim 변형, 커스텀 YOLOv3-tiny 레퍼런스, 4비트 및 혼합 저비트 양자화, 320$\times$320 및 256$\times$256 입력, 수동 및 자동 FIFO 사이징, 100~200 MHz 범위의 프로그래머블 로직 클럭이 포함됩니다. 최종 LP-YOLO Slim 구성은 256$\times$256 입력, w2a4 양자화, 142.86 MHz PL 클럭을 사용합니다. 배치 100에서 2.91 W 전력으로 35.66 FPS에 도달하여 12.25 FPS/W를 달성하였으며, 측정된 PL 지연 시간은 45.11 ms, VOC [email omitted] 0.594입니다. 이는 제공된 측정값 기준으로 네 가지 요구 조건을 동시에 만족하는 유일하게 평가된 구성입니다. 이러한 결과는 저비트 QAT, 아키텍처 슬리밍, FINN 폴딩 및 FIFO 최적화, 그리고 적절한 클럭 스케일링이 결합되어 소형 Zynq FPGA 상에서 실용적인 실시간 검출기를 제공할 수 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.