arXiv:1711.10354

Parameters Optimization of Deep Learning Models using Particle Swarm Optimization

Basheer Qolomany, Majdi Maabreh, Ala Al-Fuqaha, Ajay Gupta, Driss Benhaddou

제출 2017-11-28

원문 초록

Deep learning has been successfully applied in several fields such as machine translation, manufacturing, and pattern recognition. However, successful application of deep learning depends upon appropriately setting its parameters to achieve high quality results. The number of hidden layers and the number of neurons in each layer of a deep machine learning network are two key parameters, which have main influence on the performance of the algorithm. Manual parameter setting and grid search approaches somewhat ease the users tasks in setting these important parameters. Nonetheless, these two techniques can be very time consuming. In this paper, we show that the Particle swarm optimization (PSO) technique holds great potential to optimize parameter settings and thus saves valuable computational resources during the tuning process of deep learning models. Specifically, we use a dataset collected from a Wi-Fi campus network to train deep learning models to predict the number of occupants and their locations. Our preliminary experiments indicate that PSO provides an efficient approach for tuning the optimal number of hidden layers and the number of neurons in each layer of the deep learning algorithm when compared to the grid search method. Our experiments illustrate that the exploration process of the landscape of configurations to find the optimal parameters is decreased by 77%-85%. In fact, the PSO yields even better accuracy results.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.11641v2math.NA공통 태그 Machine Translation공식 코드 · Papers with Code

에카르트-영-슈미트 관점에서 본 심층 대칭 오토인코더

Deep Symmetric Autoencoders from the Eckart-Young-Schmidt Perspective

심층 오토인코더(deep autoencoder)는 차원 축소와 편미분 방정식의 차수 축소 모델링부터 이상치 탐지 및 신경망 기계 번역에 이르기까지 다양한 머신러닝 응용 분야에서 핵심적인 도구로 자리 잡았습니다. 이러한 실증적 성공에도 불구하고, 특히 고전적인 사영 기반 기법들과 비교했을 때 이들의 표현력에 대한 확고한 이론적 기반은 여전히 부족한 실정입니다. 본 연구에서는 최근 문헌에서 자주 등장하고 있는 광범위한 심층 학습(deep learning) 아키텍처 군인 대칭 오토인코더(symmetric autoencoder)에 대한 종합적인 분석을 제시하여 이러한 방향으로 한 걸음 나아가는 것을 목표로 합니다. 구체적으로, 서로 다른 대칭 아키텍처 군 간의 형식적 구분을 도입하고 수학적 관점에서 이들의 장점과 한계를 분석합니다. 예를 들어, 정규직교성(orthonormality) 제약 조건을 가진 대칭 오토인코더의 재구성 오차는 널리 알려진 에카르트-영-슈미트(EYS) 정리를 활용하여 이해할 수 있음을 보입니다. 또한 분석의 부산물로서, 특잇값 분해(SVD)의 반복 적용에 기반한 대칭 오토인코더용 EYS 초기화(initialization) 전략을 개발합니다. 연구 결과를 검증하기 위해 기존의 심층 오토인코더를 대상으로 제안 기법을 벤치마크하는 일련의 수치 실험을 수행하고, 모델(model) 설계 및 초기화의 중요성을 논의합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.