PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18096v2cs.LG

S4oP: 자원 제약 디바이스를 위한 구조화된 상태 공간 모델의 연산자 수준 가지치기

S4oP: Operator-level Pruning of Structured State Space Models for Resource-Constrained Devices

구조화된 상태 공간 모델(SSM)은 S4 및 S4D 아키텍처를 포함하여, 최근 시퀀스 데이터에서 장기 의존성을 포착하는 데 있어 어텐션 기반 모델의 강력한 대안으로 부상했다. 그러나 뛰어난 실증적 성능에도 불구하고, 계산 및 메모리 요구량으로 인해 시간 및 자원이 제약된 환경에서 이러한 모델을 배치하는 것은 여전히 어렵다. 본 논문에서는 S4 및 S4D 기반 모델을 위한 새로운 점진적 연산자 수준 가지치기 접근법을 제안한다. 이 방법은 예측 성능을 유지하면서 추론 비용을 크게 줄인다. 우리의 지식 범위 내에서, 본 연구는 SSM에 대한 구조화된 연산자 가지치기를 체계적으로 조사한 최초의 연구이다. 우리의 방법은 구조화된 마스킹과 미세조정을 교차 적용하면서 모델 연산자를 점진적으로 가지치기하고, 정확도와 추론 지연 시간을 함께 모니터링한다. 우리는 이 접근법을 통합 학습 및 평가 프레임워크 내에 구현하여, 효율성-정확도 트레이드오프를 체계적으로 탐험할 수 있게 한다. 여러 벤치마크 데이터셋에 걸친 실험 결과, 모델 연산자의 최대 70%까지 가지치기해도 대부분의 경우 원본 모델의 성능을 유지하면서 추론 지연 시간을 크게 줄일 수 있음을 보여준다. 이러한 결과는 구조화된 연산자 가지치기가 SSM의 효율성을 향상시키는 효과적이고 이전에 탐구되지 않은 전략임을 보여주며, 실용적인 자원 제약 시나리오에서의 배치를 촉진한다.