FNAS: Uncertainty-Aware Fast Neural Architecture Search
원문 초록
Reinforcement learning (RL)-based neural architecture search (NAS) generally guarantees better convergence yet suffers from the requirement of huge computational resources compared with gradient-based approaches, due to the rollout bottleneck -- exhaustive training for each sampled generation on proxy tasks. In this paper, we propose a general pipeline to accelerate the convergence of the rollout process as well as the RL process in NAS. It is motivated by the interesting observation that both the architecture and the parameter knowledge can be transferred between different experiments and even different tasks. We first introduce an uncertainty-aware critic (value function) in Proximal Policy Optimization (PPO) to utilize the architecture knowledge in previous experiments, which stabilizes the training process and reduces the searching time by 4 times. Further, an architecture knowledge pool together with a block similarity function is proposed to utilize parameter knowledge and reduces the searching time by 2 times. It is the first to introduce block-level weight sharing in RLbased NAS. The block similarity function guarantees a 100% hitting ratio with strict fairness. Besides, we show that a simply designed off-policy correction factor used in "replay buffer" in RL optimization can further reduce half of the searching time. Experiments on the Mobile Neural Architecture Search (MNAS) search space show the proposed Fast Neural Architecture Search (FNAS) accelerates standard RL-based NAS process by ~10x (e.g. ~256 2x2 TPUv2 x days / 20,000 GPU x hour -> 2,000 GPU x hour for MNAS), and guarantees better performance on various vision tasks.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
BenchENAS: A Benchmarking Platform for Evolutionary Neural Architecture Search
User Allocation in Mobile Edge Computing: A Deep Reinforcement Learning Approach
Learning to Assign: Towards Fair Task Assignment in Large-Scale Ride Hailing
Improving the Efficient Neural Architecture Search via Rewarding Modifications
Curiosity-Driven Energy-Efficient Worker Scheduling in Vehicular Crowdsourcing: A Deep Reinforcement Learning Approach
Chronocooked: 강화학습 에이전트의 시간 간격 측정 능력을 위한 벤치마크
Chronocooked: A Benchmark for Interval Timing in Reinforcement Learning Agents
구간 시간 지각(interval timing)은 인간 인지의 중요한 측면으로 여겨진다. 인공 에이전트가 인간과 함께 기능하는 경우가 늘어나면서 이들의 구간 시간 지각 능력을 연구할 필요가 있다. 그러나 이 분야의 연구는 아직 제한적이고 산재해 있다. 본 논문은 강화학습(RL) 에이전트의 구간 시간 지각 능력을 체계적으로 연구할 수 있는 RL 벤치마크 환경 Chronocooked를 제시한다. 이 제품군은 심리학 문헌에서 착안한 구간 시간 지각 과제를 포함하는 요리 시나리오로 구성된다. 각 과제에는 RL 에이전트의 구간 시간 지각의 여러 측면, 즉 과제 성능, 인간과 유사한 시간 지각, 확장성을 연구하기 위한 평가 지표가 함께 제공된다. 비순환 모델(CNN), 순환 모델(LSTM), 생물학적으로 영감을 받은 순환 모델(CTRNN)을 사용한 기준선을 보고한다. CNN 모델은 기본적인 시간 지각 과제를 수행하는 능력이 제한적이었다. 반면 충분한 메모리를 갖춘 두 순환 모델은 시간 지각 과제를 성공적으로 수행했고, 고정 간격(FI) 과제에서 시간적 통제를 보였으며, 시간 이분(Temporal Bisection) 과제에서 인간과 유사한 심리측정 곡선을 정성적으로 재현했다. 그러나 인간과 유사한 시간 지각 행동에 대한 정량적 증거는 발견되지 않았다. 인공 에이전트의 구간 시간 지각에 대한 체계적인 연구는 인간-로봇 상호작용(HRI)과 같은 분야에서 과제 성능을 개선하기 위한 보완적 관점을 제공할 수 있으며, 시간 지각에 관한 더 넓은 연구에도 기여할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.