AutoPruner: An End-to-End Trainable Filter Pruning Method for Efficient Deep Model Inference
원문 초록
Channel pruning is an important family of methods to speed up deep model's inference. Previous filter pruning algorithms regard channel pruning and model fine-tuning as two independent steps. This paper argues that combining them into a single end-to-end trainable system will lead to better results. We propose an efficient channel selection layer, namely AutoPruner, to find less important filters automatically in a joint training manner. Our AutoPruner takes previous activation responses as an input and generates a true binary index code for pruning. Hence, all the filters corresponding to zero index values can be removed safely after training. We empirically demonstrate that the gradient information of this channel selection layer is also helpful for the whole model training. By gradually erasing several weak filters, we can prevent an excessive drop in model accuracy. Compared with previous state-of-the-art pruning algorithms (including training from scratch), AutoPruner achieves significantly better performance. Furthermore, ablation experiments show that the proposed novel mini-batch pooling and binarization operations are vital for the success of filter pruning.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
이진화된 스펙트럼 압축 영상
Binarized Spectral Compressive Imaging
초분광 영상(HSI) 복원을 위한 기존 딥러닝 모델은 우수한 성능을 달성하지만, 막대한 메모리와 연산 자원을 갖춘 고성능 하드웨어를 필요로 한다. 따라서 이러한 방법은 자원이 제한된 모바일 기기에 배포하기 어렵다. 본 논문에서는 스냅샷 압축 영상(SCI) 시스템에서 압축된 측정값으로부터 효율적이고 실용적으로 HSI를 복원하기 위한 새로운 방법인 이진화 스펙트럼 재분배 네트워크(BiSRNet)를 제안한다. 먼저 이진화에 적합하도록 간결하고 배포하기 쉬운 기본 모델을 재설계한다. 이어서 기본 단위인 이진화 스펙트럼 재분배 합성곱(BiSR-Conv)을 제시한다. BiSR-Conv는 활성화를 이진화하기 전에 HSI 표현을 적응적으로 재분배하며, 역전파에서 확장 가능한 쌍곡탄젠트 함수를 사용하여 Sign 함수를 더 가깝게 근사한다. BiSR-Conv를 바탕으로 차원 불일치를 해결하고 전체 네트워크에 걸쳐 완전 정밀도 정보를 전달하기 위한 네 가지 이진화 합성곱 모듈을 맞춤 설계한다. 마지막으로 제안한 기법들을 사용하여 기본 모델을 이진화함으로써 BiSRNet을 도출한다. 포괄적인 정량적·정성적 실험을 통해 제안한 BiSRNet이 최신 이진화 방법들을 능가하며 완전 정밀도 알고리즘과 대등한 성능을 달성함을 보인다. 코드와 모델은 https://github.com/caiyuanhao1998/BiSCI 및 https://github.com/caiyuanhao1998/MST 에서 공개되어 있다. 온라인 Gradio 데모는 Hugging Face의 https://huggingface.co/spaces/CaiYuanhao/MST 에서 이용할 수 있다.
A Sample Efficient Conditional Independence Test in the Presence of Discretization
RoBiS: Robust Binary Segmentation for High-Resolution Industrial Images
SepPrune: Structured Pruning for Efficient Deep Speech Separation
Addition is almost all you need: Compressing neural networks with double binary factorization
Differentiable Channel Selection in Self-Attention For Person Re-Identification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.