COPS: Controlled Pruning Before Training Starts
원문 초록
State-of-the-art deep neural network (DNN) pruning techniques, applied one-shot before training starts, evaluate sparse architectures with the help of a single criterion -- called pruning score. Pruning weights based on a solitary score works well for some architectures and pruning rates but may also fail for other ones. As a common baseline for pruning scores, we introduce the notion of a generalized synaptic score (GSS). In this work we do not concentrate on a single pruning criterion, but provide a framework for combining arbitrary GSSs to create more powerful pruning strategies. These COmbined Pruning Scores (COPS) are obtained by solving a constrained optimization problem. Optimizing for more than one score prevents the sparse network to overly specialize on an individual task, thus COntrols Pruning before training Starts. The combinatorial optimization problem given by COPS is relaxed on a linear program (LP). This LP is solved analytically and determines a solution for COPS. Furthermore, an algorithm to compute it for two scores numerically is proposed and evaluated. Solving COPS in such a way has lower complexity than the best general LP solver. In our experiments we compared pruning with COPS against state-of-the-art methods for different network architectures and image classification tasks and obtained improved results.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
콘텐츠 민감형 자원 할당을 통한 예산 제약 이미지 분류 탐구
Exploring Budgeted Image Classification with Content-Sensitive Resource Allocation
인공지능(AI)의 지속적으로 증가하는 도입은 다양한 컴퓨팅 환경에서 심층 신경망(Deep Neural Networks)을 배포할 필요를 만들어낸다. 우리는 컴퓨팅 요구사항이 변화하는 동적 환경을 고려하며, 변화하는 컴퓨팅 제약을 충족하면서 AI 분류 시스템의 복잡도를 어떻게 조정해야 정확도를 최대화할 수 있는지라는 질문을 제기한다. 우리는 이 문제를 예산 제약 이미지 분류(Budgeted Image Classification)라고 부르며, 이를 자원 할당 정수 프로그램(integer program)으로 공식적으로 정식화한다. 주어진 컴퓨팅 예산, 배치의 이미지, 그리고 서로 다른 복잡도로 결정을 내릴 수 있는(여러 결정 지점을 갖는) 분류 시스템이 주어졌을 때, 우리는 사용 가능한 예산 내에서 정확도를 최대화하기 위해 이미지를 결정 지점에 할당하는 전략을 탐구한다. 원래의 정수 프로그램은 NP-Hard이므로, 우리는 연속 완화(continuous relaxation)를 제안하며, 이는 이미지의 특정 콘텐츠를 고려하지 않고 결정 지점에 이미지를 할당하는 콘텐츠 비의존적(content-agnostic) 할당 전략으로 이어진다. 우리는 콘텐츠 민감형(content-sensitive) 전략을 제안하여 이 문제를 해결하며, 실험적으로 이 전략이 더 우수한 성능을 이끈다는 것을 보인다. 우리는 전략들의 동작을 이론적으로 연구하여, 예산 제약 분류에 적합하기 위해 결정 지점이 만족해야 하는 조건을 도출한다. 우리는 실패 사례를 분석하여 향후 연구 방향에 대한 통찰을 제공한다.
Evaluating the Performance of TAAF for image classification models
FewVS: A Vision-Semantics Integration Framework for Few-Shot Image Classification
Attention Feature Fusion Network via Knowledge Propagation for Automated Respiratory Sound Classification
Evolving Efficient CNN Based Model for Image Classification
IPCL: Iterative Pseudo-Supervised Contrastive Learning to Improve Self-Supervised Feature Representation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.