arXiv:2301.04502

Pruning Compact ConvNets for Efficient Inference

Sayan Ghosh, Karthik Prasad, Xiaoliang Dai, Peizhao Zhang, Bichen Wu, Graham Cormode, Peter Vajda

제출 2023-01-11

원문 초록

Neural network pruning is frequently used to compress over-parameterized networks by large amounts, while incurring only marginal drops in generalization performance. However, the impact of pruning on networks that have been highly optimized for efficient inference has not received the same level of attention. In this paper, we analyze the effect of pruning for computer vision, and study state-of-the-art ConvNets, such as the FBNetV3 family of models. We show that model pruning approaches can be used to further optimize networks trained through NAS (Neural Architecture Search). The resulting family of pruned models can consistently obtain better performance than existing FBNetV3 models at the same level of computation, and thus provide state-of-the-art results when trading off between computational complexity and generalization performance on the ImageNet benchmark. In addition to better generalization performance, we also demonstrate that when limited computation resources are available, pruning FBNetV3 models incur only a fraction of GPU-hours involved in running a full-scale NAS.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.11473v1cs.CV공통 태그 Network Pruning, Neural Architecture Search

다차원 가지치기를 통한 임베디드 하드웨어용 효율적인 합성곱 신경망을 향하여

Towards Efficient Convolutional Neural Network for Embedded Hardware via Multi-Dimensional Pruning

본 논문에서는 임베디드 하드웨어에서의 실행 효율성을 높이기 위해 합성곱 신경망(CNN)의 세 가지 차원(깊이, 너비, 해상도)을 협력적으로 가지치기하는 다차원 가지치기 프레임워크인 TECO를 제안한다. TECO에서는 먼저 각 차원 내부의 지역적 중요도와 서로 다른 차원 간의 전역적 중요도를 모두 고려하여 각 가지치기 단위를 효율적이고 포괄적으로 평가하는 2단계 중요도 평가 프레임워크를 도입한다. 이 평가 프레임워크를 기반으로, 정확도와 효율성 간의 최적 균형을 향해 CNN의 세 차원을 점진적으로 가지치기하는 휴리스틱 가지치기 알고리즘을 제시한다. 다양한 벤치마크에서의 실험을 통해 기존 최신(SOTA) 방법들에 비한 TECO의 우수성을 검증한다. 코드 및 사전학습 모델은 https://github.com/ntuliuteam/Teco에서 공개되어 있다.

arXiv:2607.08427v1cs.AR공통 태그 GPU, Neural Architecture Search

FPGN: 미분 가능한 LUT를 이용한 초고속 프로그래머블 게이트 기반 신경망 가속의 재정의

FPGN: Redefining Ultra-Fast Programmable Gate-based Neural Acceleration with Differentiable LUTs

심층 신경망(DNN)에서 나노초 수준의 추론 지연을 달성하는 것은 지연 시간이 중요한 애플리케이션에서 핵심 아키텍처 과제로 부상하고 있다. 필드 프로그래머블 게이트 어레이(FPGA)는 저지연 추론을 위한 유망한 기반을 제공하지만, 기존 FPGA 가속기는 여전히 산술 연산 중심으로 LUT를 주로 수치 연산자와 주변 로직의 구성 요소로만 활용한다. 이와 달리, 최근의 LUT 네이티브 신경망은 LUT를 학습 가능한 뉴런으로 취급하여 내재적 논리 표현성을 활용할 수 있는 이론적 잠재력을 보여준다. 그러나 기존 방법들은 대부분 알고리즘 최적화에 국한되어 이 이론적 잠재력을 고성능 FPGA 가속기로 실현하는 데 실패한다. 구체적으로, 이들의 미분 가능한 공식은 FPGA LUT 프리미티브와 충실히 일치하지 않고, 물리적 특성을 고려하지 않은 토폴로지는 배선 가능성과 타이밍 클로저를 저해하며, 자동화된 최적화 흐름의 부재는 체계적인 설계 공간 탐험(DSE) 및 효율적인 하드웨어 구현을 방해한다. 본 논문에서는 LUT 네이티브 학습과 지연 최적화된 FPGA 구현 간의 격차를 해소하는 종단간 물리적 인식 프레임워크인 FPGN을 제안한다. FPGN은 (i) FPGA 네이티브 LUT 뉴런 학습을 위한 하드웨어 정렬 미분 가능 공식, (ii) 배선 지역성과 타이밍 클로저를 향상시키는 스트리밍 하드웨어 아키텍처를 갖춘 구조화된 LUT 네이티브 토폴로지, (iii) 고충실도 분석적 결과 품질 모델을 활용하여 DSE와 하드웨어 생성을 자동화하는 지연 기반 컴파일러를 통해 이러한 과제를 해결한다. 실험 결과, FPGN은 대표적인 FPGA 기반 BNN 가속기 대비 최대 205배의 지연 감소와 기존 미분 가능한 LUT 네이티브 네트워크 대비 최대 30배 높은 LUT 효율을 달성하면서 경쟁력 있는 추론 정확도를 유지함을 보인다.

arXiv:2607.03860v1cs.LG공통 태그 Network Pruning, Neural Architecture Search

양자화 및 연속 강한 복권 티켓을 위한 통합 프레임워크

A Unified Framework for Quantized and Continuous Strong Lottery Tickets

강한 복권 티켓 가설(Strong Lottery Ticket Hypothesis, SLTH)은 충분히 과매개변수화된 무작위 초기화 신경망이, 어떠한 학습 없이도 주어진 데이터셋에서 소규모 학습된 네트워크의 성능에 필적하는 희소 서브네트워크를 포함한다고 주장한다. SLTH의 이론적 연구에서 핵심적인 수학적 도구는 무작위 부분 집합 합 문제(Random Subset Sum Problem, RSSP)였다. 최근 SLTH는 양자화 설정으로 확장되었으며, 이 설정에서는 네트워크 가중치가 연속 구간이 아닌 이산 집합에서 샘플링된다. 그러나 이러한 새로운 결과들은 임의 정밀도 설정의 결과들과 여러 면에서 차이가 있다. 본 연구에서는 이산 설정에서의 RSSP를 분석하고, 이를 활용하여 양자화 경우에 대한 엄밀한 SLTH 보장을 도출한다. 본 분석은 양자화 체제에서 강한 복권 티켓을 찾는 데 실패할 확률에 대한 엄밀한 경계를 도출하며, 기존 결과 대비 지수적 개선을 달성한다. 가장 중요하게는, 연속 설정에서의 근사 표현과 양자화 설정에서의 정확한 표현 모두가 본 결과의 극한 사례로 자연스럽게 나타남을 보임으로써 관련 문헌을 통합한다. 이러한 관점은 기존 경계를 더욱 정교하게 할 뿐만 아니라, 근사 오차와 반올림 오차를 동시에 처리하는 통합적 프레임워크를 제공한다.

arXiv:2606.28372v1cs.NE공통 태그 GPU, Neural Architecture Search

자동 튜닝에서의 제약 인식 최적화

Constraint-aware Optimization in Auto-Tuning

자동 성능 튜닝(auto-tuning)은 고성능 컴퓨팅의 핵심 기법으로, 복잡하고 변화하는 하드웨어 아키텍처에 애플리케이션이 적응할 수 있도록 한다. 핵심 과제는 크고 이산적이며 제약이 있는 매개변수(parameter) 공간에서 최적화를 수행해야 한다는 점으로, 하드웨어 또는 소프트웨어 정확성 제약으로 인해 많은 후보 구성이 유효하지 않다. 차분 진화(Differential Evolution), 입자 군집 최적화(Particle Swarm Optimization), 유전 알고리즘(Genetic Algorithms)과 같은 전통적인 진화 알고리즘은 본질적으로 제약을 인식하지 못하므로, 유효하지 않은 해를 평가하는 데 계산 자원을 낭비하는 경우가 많다. 본 연구에서는 자동 튜닝을 위한 네 가지 진화 알고리즘의 제약 인식 변형을 제안하고 평가한다. 대표적인 벤치마크 모음에 대한 광범위한 실험을 통해, 제약 인식 최적화가 제약 없는 방법에 비해 더 빠른 수렴(convergence)과 향상된 성능을 달성함을 보인다. 나아가 우리의 방법이 제약 기반 자동 튜닝의 최신 프레임워크인 pyATF 방법을 능가함을 입증한다. 실험 결과는 최적화 과정에 제약 인식을 통합함으로써 실제 자동 튜닝 문제에서의 적용 가능성과 효과성이 크게 향상됨을 보여준다. 제약 인식은 탐색 공간 희소성(sparsity)과 상관관계를 가지며 평균적으로 알고리즘 효율을 약 39 향상시켰다. 본 연구에서 개발된 알고리즘은 Kernel Tuner 프레임워크에 오픈소스로 공개되어 향후 연구를 촉진하고 사용자들에게 도움을 제공한다.

arXiv:2606.29119v1cs.CL공통 태그 GPU, Neural Architecture Search

진화적 외부 루프가 도움이 되지 않을 때를 사전에 파악하기: 사전 등록된 저비용 기준선 스크리닝 규칙

Knowing in Advance When an Evolutionary Outer Loop Will Not Help: A Pre-Registered Cheap-Baseline Screening Rule

우리는 신경망 파라미터 또는 구조에 대한 진화적/집단적/수명 주기 기반 외부 루프를 구축할 가치가 있는지를 구현 전에 결정하는 사전 등록된 스크리닝 규칙을 소개한다. 이러한 외부 루프는 그래디언트 내부 루프보다 10^2~10^3배의 비용이 들지만, 저비용의 단발(single-shot) 대안을 능가하는지 여부는 대개 비용을 지불한 후에야 발견된다. 우리의 규칙은 Phase-0 게이트에서 단일 수치를 계산한다: 회수율 R = s/G, 즉 최선의 단발 그래디언트/곡률 통계의 이득 s를 평가된 임의의 저비용 방법의 최선 이득 G로 나눈 값이며, R >= 90%일 때 외부 루프를 건너뛰도록 처방한다. 우리는 사전 등록된 외부 루프 베팅의 실험실 내 일련의 사례들(분석된 두 가지 사례와 공개된 파일 서랍)에 대해 이 규칙을 검증한다: 분석된 두 사례 모두에서 정적 또는 단발 계산이 프로젝트 자체 지표에 대한 효과를 포착하였고, 게이트가 작동하였으며(두 사례 모두 R ≈ 1.0; 한 사례에서 더 엄격한 지표 기준으로는 ≈ 0.95), 외부 루프는 포기되었다. 그 중 한 사례에서는 동반된 요인 분해(factorial decomposition)가 외견상의 성능 향상을 정적 기반(substrate) 변경으로 국한시켰으며, 진화적 수명 주기는 탐지 가능한 이득을 기여하지 않는 것으로 나타났다. 한 프로젝트에서 게이트 비용은 약 50~70 GPU 시간이었으며, 추정 400+ GPU 시간(첫 번째 셀 기준)과 수 주의 구현 작업을 걸러냄으로써 6~8배의 절감 효과를 얻었다. 이 규칙은 전향적으로 반증 가능하다: R < 90%인 태스크에서 외부 루프가 여전히 단발을 능가하지 못한다면 이 규칙은 반증된다.

arXiv:2605.15435v2cs.LG공통 태그 Network Pruning, Neural Architecture Search

구조적 가소성에서 성장의 안정성에 관하여

On the Stability of Growth in Structural Plasticity

표준 딥러닝 파이프라인은 보통 학습(training) 전에 네트워크 아키텍처를 선택하고 최적화(optimization) 과정 내내 이를 고정합니다. 대조적으로, 모델(model)은 학습 중에 구조를 편집하여 적응할 수도 있는데, 예를 들어 기존 은닉 뉴런 유닛을 가지치기(pruning)하거나 새로운 유닛을 성장시키는 방식이 있습니다. 성장은 적응형 및 지속적 시스템에 매력적이지만, 우리는 이것이 가지치기의 단순한 역연산이 아님을 보여줍니다. 가지치기는 처음부터 학습에 참여한 유닛들 중에서 선택하는 반면, 성장은 이미 전문화된 최적화 궤적에 새로운 유닛을 삽입합니다. 우리는 이 삽입 문제를 분리하고, 신생 유닛들이 종종 순방향으로는 활성(active)이지만 역방향으로는 기아(starved) 상태임을 보여줍니다: 즉, 이들은 순방향 연산에 참여하지만 기존 유닛보다 훨씬 약한 그래디언트(gradient) 신호를 받습니다. 이러한 불리함은 작은 MLP 벤치마크에서는 사소하지만, 컨볼루션 트렁크가 있는 더 어려운 이미지 분류(classification) 설정에서는 명확해집니다. 이러한 설정에서 \textsc{Grow}는 구조 편집 절차 동안 높은 최종 정확도를 달성할 수 있는 반면, \textsc{Prune}은 성능을 학습 궤적에 대해 평균화하거나 최종 희소 네트워크를 처음부터 재학습할 때 더 강력합니다. 옵티마이저(optimizer) 상태, 삽입, 선택, 학습 가능성을 타겟으로 하는 개입들은 신생 유닛의 통합을 개선하는 것이 적응 성능을 향상시킬 수 있지만 자동으로 더 나은 최종 서브네트워크를 생성하지는 않음을 보여줍니다. 가소성 손실(plasticity loss)을 강조하는 지속적 학습(continual-learning) 벤치마크에서 \textsc{Grow}는 주로 새로운 유닛이 통합할 충분한 시간이 있을 때 경쟁력을 갖게 됩니다. 종합하면, 이러한 결과는 \textsc{Grow}가 아키텍처 탐색 연산자로서뿐만 아니라, 그 성공이 삽입 안정성에 의존하는 시간 민감적 최적화 과정으로서 평가되어야 함을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.