구조화된 상태 공간 모델(SSM)은 S4 및 S4D 아키텍처를 포함하여, 최근 시퀀스 데이터에서 장기 의존성을 포착하는 데 있어 어텐션 기반 모델의 강력한 대안으로 부상했다. 그러나 뛰어난 실증적 성능에도 불구하고, 계산 및 메모리 요구량으로 인해 시간 및 자원이 제약된 환경에서 이러한 모델을 배치하는 것은 여전히 어렵다. 본 논문에서는 S4 및 S4D 기반 모델을 위한 새로운 점진적 연산자 수준 가지치기 접근법을 제안한다. 이 방법은 예측 성능을 유지하면서 추론 비용을 크게 줄인다. 우리의 지식 범위 내에서, 본 연구는 SSM에 대한 구조화된 연산자 가지치기를 체계적으로 조사한 최초의 연구이다. 우리의 방법은 구조화된 마스킹과 미세조정을 교차 적용하면서 모델 연산자를 점진적으로 가지치기하고, 정확도와 추론 지연 시간을 함께 모니터링한다. 우리는 이 접근법을 통합 학습 및 평가 프레임워크 내에 구현하여, 효율성-정확도 트레이드오프를 체계적으로 탐험할 수 있게 한다. 여러 벤치마크 데이터셋에 걸친 실험 결과, 모델 연산자의 최대 70%까지 가지치기해도 대부분의 경우 원본 모델의 성능을 유지하면서 추론 지연 시간을 크게 줄일 수 있음을 보여준다. 이러한 결과는 구조화된 연산자 가지치기가 SSM의 효율성을 향상시키는 효과적이고 이전에 탐구되지 않은 전략임을 보여주며, 실용적인 자원 제약 시나리오에서의 배치를 촉진한다.
디퓨전 트랜스포머(DiT)에 특화된 사후학습 가지치기(post-training pruning) 방법인 DiT-Pruning을 제안하며, LLM용 기존 방법의 가중치 기여 과증폭 문제와 균일 가지치기 단위의 한계를 에너지 기반 현저도 지표와 클러스터링 인식 가지치기 단위로 해결한다. FLUX.1-dev 모델에서 50% 희소성 조건 하에 MJHQ 기준 CLIP 점수 손실 0.001을 기록하며 기존 방법들을 크게 능가했다.
Mamba와 같은 선택적 상태 공간 모델은 학습된 선택 메커니즘으로 결정되는 입력 결합을 통해 1차 모드 뱅크에 정보를 라우팅한다. 우리는 학습된 모델이 이 모드들을 어떻게 사용하는지 측정하는 정확한 도구를 제시한다. 상태 행렬이 대각 형태이므로 각 채널의 출력은 모드별 기여로 정확히 분해되며, 층(layer)·채널·윈도우별 Gram 텐서(tensor)는 임의의 예산에서 오프라인으로 모드 부분집합을 제거했을 때의 정확한 출력 오차를 산출한다. 이 도구를 Mamba-1 계열의 참조 구현과 대조한 결과 상대 오차 $2.3\times10^{-7}$로 정확함이 검증되었으며, 4,464개 구성에서 층의 배포된 가지치기(pruning) 오차를 중앙값 상대 편차 $5\times10^{-7}$로 예측하고 그 하한은 재구성 품질에 의해 결정된다. 이 도구를 Mamba-1 계열(130M--2.8B), 배포된 7B Falcon-Mamba, 그리고 Mamba-2에 적용한 결과, 학습된 모델은 입력에 따라 상태 공간을 재할당한다는 사실이 밝혀졌다. 즉, 신호를 전달하는 모드가 컨텍스트에 따라 달라지며, 가장 영향을 많이 받는 층에서 입력별 오라클은 고정 모드 집합의 출력 오차를 약 절반으로 줄인다. 고정 신호 반사실 분석을 통해 이 이동이 주로 입력 의존적 쓰기 맵 $B_t$에 기인함을 밝혔으며, 선택성과 흔히 연관되는 타임스텝은 이에 거의 기여하지 않는다. 이 측정에 기반한 입력 스케줄링 모드 가지치기는 130M부터 배포된 7B Falcon-Mamba까지 모든 규모에서 정적 순위, Hankel 기반 순위, 층 적응형 순위를 능가하며, 상태 예산의 절반으로도 가지치기 없는 모델과 동등한 성능을 보인다. 스케줄러는 첫 번째 패스에서 각 윈도우의 모드 사용량을 읽으므로 이는 실현 가능한 여유 공간을 입증하는 것이며, 배포된 연산 또는 메모리 절감은 주장하지 않는다.
대규모 언어 모델(LLM)의 배포가 증가함에 따라 LLM 추론 비용이 핵심 과제로 부상하고 있다. 가중치 행렬에 희소성을 도입하는 가지치기 기법은 추론을 가속화할 수 있다. 그러나 모델 품질을 유지하기 위해 가지치기는 일반적으로 적당한 수준의 비정형 희소성(약 50%)으로 제한된다. 이 희소성 수준에서는 희소 행렬 곱(SpMM)을 위한 기존 GPU 커널 중 어느 것도 밀집 행렬 곱 대비 우수한 성능을 보이지 못한다. 본 논문은 적당한 희소성을 가진 LLM을 위한 효율적인 GPU 추론 방법을 제안한다. 세 층으로 구성된 행렬 저장 형식을 제안하며, 이는 (i) 희소 텐서 코어가 SpMM을 가속화하도록 하는 Sparse-TC 층, (ii) 병렬 차분 거리를 사용하여 행렬을 압축하면서 저비용 온칩 디코딩을 지원하는 Slot-Filling 층, (iii) 올바른 SpMM 연산을 보장하는 경량 Residual 층으로 구성된다. 이 형식을 기반으로, 희소 텐서 코어와 CUDA 코어를 함께 활용하는 SpMM 커널을 설계한다. 이 설계는 효율적인 실행 파이프라인을 가능하게 하고 온칩 연산과 메모리 접근을 중첩시킨다. 평가 결과, 본 연구는 고대역폭 메모리(HBM)를 장착한 최신 GPU에서 밀집 행렬 곱을 능가하는 최초의 사례임을 보여준다. SpInfer(EuroSys'25, 최우수 논문) 대비 최대 1.64배의 커널 수준 속도 향상, FlashLLM(VLDB'24) 대비 최대 1.41배의 엔드-투-엔드 속도 향상을 달성한다. 소스 코드: https://github.com/moui0/cudac.
슈퍼 가중치(Super Weight)를 단독으로 파인튜닝하면 OLMo-1B/7B에서 정확도가 무작위 추측 수준으로 붕괴하는 반면, 전체 레이어에 걸쳐 저랭크 구조로 업데이트하는 LoRA는 전체 파라미터의 0.16%만으로도 성공함을 보여, 파라미터의 중요도가 단독 학습 가능성을 보장하지 않음을 실험적으로 확립한다.
확산 모델(diffusion model)의 추론 비용을 동시에 줄이기 위해, 구조적 가지치기(structured pruning) 이후 전체 재학습 없이 스텝 증류(step distillation)로 바로 이어지는 경로가 실패함을 규명하고, 이를 해결하는 짧은 교사 정렬(teacher-alignment) 복구 단계를 제안한다. ImageNet-512에서 EDM2-XS를 20% 가지치기한 단일 스텝 생성기가 98.826M 파라미터와 1회 네트워크 평가만으로 FID 3.12를 달성해 원본(124.713M, 63회 평가, FID 3.53)을 오히려 앞섰다.
기존 연구들이 다양한 가지치기 기법을 통해 비전 트랜스포머(ViT)를 성공적으로 압축해왔으나, 대부분은 모델 크기를 크게 줄이기 위해 너비 가지치기에 집중해왔다. ViT에서 전체 레이어를 제거하는 깊이 가지치기는 더 높은 속도 향상을 제공할 잠재력이 있음에도 불구하고, 정확도 복원이 매우 어려운 것으로 알려져 있어 기존의 너비-깊이 공동 가지치기 방법이 달성할 수 있는 가속화를 제한해왔다. 본 연구에서 우리는 기존 깊이 가지치기 방법의 실패 원인이 서로 다른 레이어 간의 이질성(heterogeneity)을 간과한 데 있음을 밝히고, 차원 불일치를 방지하는 이질성 인식 깊이 가지치기 방법인 HetDPT를 제안한다. ImageNet-1K, CIFAR-100, COCO, ADE20K에 대한 종합적인 실험을 통해 본 방법을 검증하였다: HetDPT는 DeiT-B에서 정확도를 유지하면서 1.58$\times$의 속도 향상을, DeiT-S에서는 정확도 저하가 거의 없이 1.39$\times$의 속도 향상을 달성한다. 또한 너비 가지치기와 결합하였을 때, HetDPT+는 극단적인 ViT 가지치기에서 새로운 최첨단 기록을 세우며, Isomorphic-Pruning-2.6G 구성에서 무손실에 가까운 정확도를 유지하면서 가속 비율을 4.24$\times$에서 5.19$\times$로 향상시킨다. 코드는 https://github.com/Efficient-AI-for-All/HetDPT 에서 공개되어 있다.
산업 인터넷(IoT)(IIoT) 에지 디바이스에 대규모 언어 모델(LLM)을 배치하려면 극한의 압축이 필요하지만, 기존 구조적 가지치기 방법은 일회성 중요도 추정으로 인해 높은 압축률에서 성능이 붕괴되며, 아키텍처 간 동작은 여전히 예측 불가능하다. 본 논문은 레이어, 어텐션 헤드, 피드포워드 채널을 거친 것에서 세밀한 것 순으로 제거하는 계단식 다중 세분화 가지치기 프레임워크를 제안하며, 단계 사이에 경량 저랭크 복구를 두어 구성요소 중요도를 재추정한다. 정보 이론적 분석이 이 순서를 뒷받침하며, 구조적 독립성 가정(SIA)은 주어진 아키텍처에서 구성요소별 가지치기 기준이 신뢰할 수 있는지 예측하는 검증 가능한 조건으로 형식화된다. Multi-Head Attention(MHA)+GELU 설계는 SIA를 만족하는 반면, Grouped Query Attention(GQA)+SwiGLU 설계는 이를 위반한다. 8,800만~62.5억 매개변수 모델에 걸친 베어링 결함 진단 실험에서, 본 프레임워크는 MHA+GELU 아키텍처에서 달성 가능한 압축률을 13.8배까지 확장하며 83.82% 정확도(가장 강한 기준선 대비 +3.70 percentage points(pp))를 달성하는 한편, SIA를 위반하는 GQA+SwiGLU 아키텍처에서는 약 74pp 정확도 붕괴를 드러낸다. NVIDIA DGX Spark를 사용한 산업용 회전 베어링 결함 진단 플랫폼에 배포했을 때, 압축된 모델은 추론 지연시간을 최대 67.2%, 피크 메모리를 62.5%까지 줄여 IIoT 에지 추론의 실용 가능성을 보여준다.