arXiv:1902.10441

Fix Your Features: Stationary and Maximally Discriminative Embeddings using Regular Polytope (Fixed Classifier) Networks

Federico Pernici, Matteo Bruni, Claudio Baecchi, Alberto del Bimbo

제출 2019-02-27

원문 초록

Neural networks are widely used as a model for classification in a large variety of tasks. Typically, a learnable transformation (i.e. the classifier) is placed at the end of such models returning a value for each class used for classification. This transformation plays an important role in determining how the generated features change during the learning process. In this work we argue that this transformation not only can be fixed (i.e. set as non trainable) with no loss of accuracy, but it can also be used to learn stationary and maximally discriminative embeddings. We show that the stationarity of the embedding and its maximal discriminative representation can be theoretically justified by setting the weights of the fixed classifier to values taken from the coordinate vertices of three regular polytopes available in $\mathbb{R}^d$, namely: the $d$-Simplex, the $d$-Cube and the $d$-Orthoplex. These regular polytopes have the maximal amount of symmetry that can be exploited to generate stationary features angularly centered around their corresponding fixed weights. Our approach improves and broadens the concept of a fixed classifier, recently proposed in \cite{hoffer2018fix}, to a larger class of fixed classifier models. Experimental results confirm both the theoretical analysis and the generalization capability of the proposed method.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2105.03358v4eess.IV공통 태그 General Classification공식 코드 · Papers with Code

소프트 어텐션을 통한 피부암 분류 성능 향상

Soft-Attention Improves Skin Cancer Classification Performance

임상 응용 분야에서 신경망(neural network)은 입력 영상에서 가장 중요한 영역에 집중하고 이를 강조할 수 있어야 합니다. 소프트 어텐션(Soft-Attention) 메커니즘은 신경망이 이러한 목표를 달성할 수 있도록 합니다. 본 논문에서는 심층 신경망 구조에서 소프트 어텐션의 효과를 조사합니다. 소프트 어텐션의 핵심 목적은 중요한 특징의 가치를 높이고 노이즈를 유발하는 특징을 억제하는 것입니다. 저자들은 피부 병변을 분류(classification)할 때 소프트 어텐션 메커니즘을 적용한 경우와 적용하지 않은 경우의 VGG, ResNet, InceptionResNetv2, DenseNet 구조의 성능을 비교합니다. 기존 네트워크에 소프트 어텐션을 결합했을 때 HAM10000 데이터셋(dataset) [25]에서 93.7%의 정밀도(precision)를 달성하여 기준선(baseline)[16]보다 4.7% 향상된 성능을 보였습니다. 또한, 소프트 어텐션 결합을 통해 ISIC-2017 데이터셋 [2]에서 기준선[31] 대비 민감도 점수를 3.8% 개선하며 91.6%를 달성했습니다. 코드는 GitHub에서 공개되어 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.