Efficient Model Performance Estimation via Feature Histories
원문 초록
An important step in the task of neural network design, such as hyper-parameter optimization (HPO) or neural architecture search (NAS), is the evaluation of a candidate model's performance. Given fixed computational resources, one can either invest more time training each model to obtain more accurate estimates of final performance, or spend more time exploring a greater variety of models in the configuration space. In this work, we aim to optimize this exploration-exploitation trade-off in the context of HPO and NAS for image classification by accurately approximating a model's maximal performance early in the training process. In contrast to recent accelerated NAS methods customized for certain search spaces, e.g., requiring the search space to be differentiable, our method is flexible and imposes almost no constraints on the search space. Our method uses the evolution history of features of a network during the early stages of training to build a proxy classifier that matches the peak performance of the network under consideration. We show that our method can be combined with multiple search algorithms to find better solutions to a wide range of tasks in HPO and NAS. Using a sampling-based search algorithm and parallel computing, our method can find an architecture which is better than DARTS and with an 80% reduction in wall-clock search time.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Evolving Efficient CNN Based Model for Image Classification
Adaptive hybrid activation function for deep neural networks
LLM을 활용한 폐루프 특징 채널 구성 스케일링
Scaling Closed-Loop Feature Channel Configuration with LLMs
폐루프 대규모 언어 모델(LLM) 기반 채널 구성 탐색에서 얻은 유망한 초기 결과는, 실행 가능한 코드 생성과 정확도 피드백을 통해 신경망의 폭을 직접 최적화할 수 있음을 보여주었다. 그러나 이러한 결과는 상대적으로 희소한 유효 평가 집합에서 얻은 것이므로, 관찰된 최적화 행동이 더 조밀한 샘플링 체제로 전이되는지, 그리고 더 많은 생성 네트워크가 평가될 때 추가적인 아키텍처 규칙성이 나타나는지는 열려 있는 문제로 남아 있다. 이를 검증하기 위해, 동일한 탐색 설정을 미세조정 주기당 250개의 후보 네트워크로 확장하였다. 분석은 8개의 완전한 주기에서 생성된 2000개의 후보를 다루며, 작업 및 메타데이터 필터링 후 462개의 검증된 CIFAR-100 평가를 산출한다. 주기별 평균 정확도는 기울기 9.87e-4(p=0.043)의 양의 선형 추세를 보이며, 고성능 프론티어는 더 강하게 개선된다. 관찰된 최고 정확도는 0.3144에서 0.3676으로 증가했고, 상위 5개 및 상위 10개 주기별 평균 모두 양의 추세를 나타낸다. 확장된 실행은 또한 매개변수 효율의 개선을 드러낸다. 최고 모델은 11.8M 매개변수로 0.3676에 도달하는 반면, 초기 고성능 모델은 166.5M 매개변수로 0.3144를 기록했다. 정확도를 넘어, 더 큰 표본은 희소한 관측으로는 평가하기 어려웠던 아키텍처 규칙성을 드러낸다. 2의 거듭제곱이 아닌 채널 폭은 검증된 후보의 41.8%에서 나타나며, 가장 강력한 모델들은 초기 폭은 적당하고 중간 또는 후반 블록을 확장한 구조화된 채널 할당 패턴을 공유한다. 이러한 발견은 초기 연구에서 관찰된 채널 탐색 신호가 전이됨을 시사한다
NeuronSoup: 역전파 없이 진화하는 비동기 공유 뉴런 시간 그래프
NeuronSoup: Evolving Asynchronous, Shared-Neuron Temporal Graphs without Backpropagation
NeuronSoup를 제시한다. 이는 동기식 층별 처리를 공유 뉴런 풀을 통한 비동기·지연 매개 신호 전파로 대체하는 신경 계산 아키텍처이다. 네트워크의 각 경로는 가변적인 수의 중간 은닉 뉴런을 거쳐 하나의 입력 뉴런에서 하나의 출력 뉴런으로 연속값 신호를 라우팅한다. 은닉 뉴런은 경로 간 물리적으로 공유된다. 두 경로가 동일한 뉴런을 통과할 때, 두 번째 도달은 첫 번째가 남긴 누적 상태를 만나며, 신호 극성과 도달 시각에 따라 상보적 또는 상쇄적 간섭을 일으킨다. 전체 아키텍처—위상, 가중치, 지연, 연결성—는 14,602개 유전자로 구성된 평탄한 실수값 게놈 위에서 작동하는 유전 알고리즘으로 공진화된다. 입력으로 고정된 ResNet18 특징을 사용한 10클래스 MNIST 숫자 분류에서, 시스템은 266개의 은닉 뉴런(다중 경로에 걸쳐 156개 공유, 한 뉴런은 11개의 서로 다른 경로에 참여)을 통과하는 204개의 활성 경로로 구성된 네트워크를 진화시키며, 10,000세대 후 85.9% 테스트 정확도를 달성한다. 학습된 모델은 115 KB를 차지한다. 이 아키텍처가 현재 심층 학습의 근본적 한계를 해소한다고 주장한다. 미분 가능한 계산 그래프가 필요 없고, 샘플별로 계산 깊이를 적응시키며, 현재 아키텍처가 명시적으로 설계해야 하는 처리 경로 간 측면 상호작용을 발견한다. 유전 알고리즘이 이 문제 클래스에 적합한 최적화 도구인 이유, CMA-ES가 이 규모에서 실패하는 이유, 그리고 인코더와 출력 구조를 교체함으로써 임의의 도메인으로 일반화하는 방법을 논의한다.
억제적 셀프-어텐션: 비전 트랜스포머에서 초점 선명화
Inhibited Self-Attention: Sharpening Focus in Vision Transformers
비전 트랜스포머(ViT)는 컴퓨터 비전(CV) 과제에서 뛰어난 성능을 보여 왔다. 그러나 셀프-어텐션 메커니즘은 종종 배경 영역 전반에 초점을 분산시키며, 객체 관련 단서보다는 가짜 상관관계에 의존하는 경향이 있다. 생물학적 시각 시스템에서 관찰되는 억제 메커니즘에서 영감을 받아, 억제 신호를 통합하여 특징 선택성을 높이고 가짜 반응을 억제하는 새로운 셀프-어텐션인 억제적 셀프-어텐션(ISA)을 제안한다. 소프트맥스 정규화로 인해 양의 어텐션 값에만 의존하는 기존 셀프-어텐션과 달리, 우리 접근법은 음의 어텐션 점수를 유지하고 활용하여 무관한 특징을 억제하고 관심 객체에 대한 초점을 선명하게 한다. ImageNet-1k와 COCO를 포함한 여러 데이터셋과 여러 견고성 벤치마크에 걸친 실험은 ISA가 객체 중심 선택성을 높이고, 지름길 의존을 줄이며, 분포 외 일반화를 개선함을 보여 준다. 관련성 맵 분석은 ISA를 적용한 ViT가 객체 관련 영역에 더 선명하고 국소화된 초점을 보이면서 무관한(배경) 특징으로부터의 방해를 줄여 더 신뢰할 수 있는 모델을 가능하게 함을 확인한다. 코드는 https://github.com/prdvanderwal/inhibited-self-attention 에서 공개한다.
다차원 가지치기를 통한 임베디드 하드웨어용 효율적인 합성곱 신경망을 향하여
Towards Efficient Convolutional Neural Network for Embedded Hardware via Multi-Dimensional Pruning
본 논문에서는 임베디드 하드웨어에서의 실행 효율성을 높이기 위해 합성곱 신경망(CNN)의 세 가지 차원(깊이, 너비, 해상도)을 협력적으로 가지치기하는 다차원 가지치기 프레임워크인 TECO를 제안한다. TECO에서는 먼저 각 차원 내부의 지역적 중요도와 서로 다른 차원 간의 전역적 중요도를 모두 고려하여 각 가지치기 단위를 효율적이고 포괄적으로 평가하는 2단계 중요도 평가 프레임워크를 도입한다. 이 평가 프레임워크를 기반으로, 정확도와 효율성 간의 최적 균형을 향해 CNN의 세 차원을 점진적으로 가지치기하는 휴리스틱 가지치기 알고리즘을 제시한다. 다양한 벤치마크에서의 실험을 통해 기존 최신(SOTA) 방법들에 비한 TECO의 우수성을 검증한다. 코드 및 사전학습 모델은 https://github.com/ntuliuteam/Teco에서 공개되어 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.