HAND: 이미지 분류에서 일반화와 샘플 효율성을 향상시키는 생물학적 영감 기반의 활성화 함수
HAND: A Biologically-Inspired Activation Function that Improves Generalisation and Sample Efficiency in Image Classification
한국어 초록
심층 신경망(DNN)은 인간에게서는 나타나지 않는 강건성(robustness) 및 일반화(generalisation) 문제를 보입니다. 또한 새로운 예시를 정확하게 분류하기 위해 훨씬 더 많은 학습 샘플을 요구하므로 데이터 효율성 측면에서도 크게 뒤떨어집니다. 귀납적 편향(inductive bias)은 일반화를 개선하기 위한 내재적 메커니즘을 제공하여 데이터로부터 학습하는 것에 대한 의존도를 줄임으로써 이러한 문제를 해결하는 데 도움이 될 수 있습니다. 본 연구에서는 생물학적 영감을 받은 귀납적 편향을 새로운 활성화 함수인 HAND(Homeostasis, Accelerating Nonlinearity, and Divisive-normalisation)에 도입하고, 이미지 분류 과제로 학습된 CNN에서의 효과를 입증합니다. HAND를 사용한 ConvNeXt-tiny 모델은 기존 수정되지 않은 모델이 200 에포크 후에 달성한 ImageNet1k 정확도에 도달하는 데 단 25 학습 에포크만이 필요했습니다. 귀납적 편향의 효과와 일치하게, 학습 시간이 늘어나고 데이터 증강이 증가할수록 성능 격차는 줄어들었습니다. 학습 데이터의 양이 줄어들고 클래스 간 분포가 불균형한 경우(Long-tailed ImageNet)에는 정확도 향상 폭이 훨씬 더 컸으며 학습 시간이 늘어나도 줄어들지 않았습니다. 흔히 발생하는 변형(common corruptions) 데이터에 대한 일반화 성능과 미확인 클래스의 샘플을 거부하는 능력은 HAND에 의해 영향을 받지 않거나 오히려 향상되었습니다. 이러한 결과는 다양한 CNN 구조와 학습 데이터셋 전반에 걸쳐 일반화되었습니다. 따라서 HAND는 필요한 학습 시간 및/또는 요구되는 학습 데이터의 양과 다양성을 줄일 수 있어 샘플 효율성을 개선하는 데 기여합니다.
원문 초록
DNNs exhibit robustness and generalisation issues not seen in humans. They are also far less data-efficient learners, requiring considerably more training samples to accurately classify novel exemplars. Inductive bias could help with these issues by providing in-built mechanisms to improve generalisation, and hence, reduce reliance on learning from data. We incorporate a biologically-inspired inductive bias into a new activation function, HAND (Homeostasis, Accelerating Nonlinearity, and Divisive-nomalisation), and show its effectiveness with CNNs trained on image classification. Using HAND a ConvNeXt-tiny required 25 training epochs to reach the same accuracy on ImageNet1k as the unmodified model achieved after 200 epochs. Consistent with the effects of an inductive bias, the performance gap reduced with training time and increased data augmentation. When the volume of training data was reduced and unevenly distributed between classes (Long-tailed ImageNet) the improvements in accuracy were even larger and did not reduce with increased training time. Generalisation performance with the common-corruptions data, and the ability to reject samples from unknown classes, were unaffected or improved by HAND. Results generalised across CNN architectures and training data-sets. HAND can, therefore, reduce the required training time and/or the required volume and variety of training data, helping to improve sample efficiency.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.