아핀 변환을 넘어서: 좌표별 신경 연산을 위한 소프트 지배 층(Soft Dominance Layer)
Beyond Affine Transformations: A Soft Dominance Layer for Coordinate-Wise Neural Computation
한국어 초록
본 논문은 기존 신경망 층(layer)의 기반이 되는 아핀 변환(affine transformation)에 대한 대안을 예비적으로 연구한다. 제안된 소프트 지배 층(Soft Dominance Layer)에서는 각 출력 유닛이 입력 좌표를 학습 가능한 기준 벡터(reference vector)와 비교하고, 완만한 부등식 응답(smooth inequality response)들을 집계한다. 시그모이드(sigmoid) 완화를 통해 비교 연산을 미분 가능하게 만들며, 샤프니스 매개변수(parameter) $α$가 경성 임계값(hard threshold) 결정으로의 전환을 조절한다. 이 연구의 목적은 아핀 층을 대체하려는 것이 아니라, 이 기본 연산(primitive)의 학습 가능성(trainability)과 직접적인 임계값 해석을 살펴보는 것이다. 단일 실행(single-run) MNIST 실험에서, 소프트 지배(Soft Dominance)의 관찰된 최고 정확도는 어닐링(annealing) 없이 $0.9061$, 어닐링을 적용했을 때 $0.9173$이었으며, 이는 MLP 기준선(baseline) $0.9827$과 비교된다. 이러한 서술적(descriptive) 결과는 신뢰할 수 있는 구성 순위나 통계적으로 입증된 어닐링의 이점을 입증하지는 않는다. 학습된 기준 벡터는 공간적 구조를 나타내며, 이는 구조화된 학습에 대한 정성적 증거를 제공한다. 이 개념 증명(proof of concept)을 넘어선 견고성(robustness)과 실용적 관련성을 평가하기 위해서는 반복 시드(repeated-seed) 실험과 더 광범위한 데이터셋(dataset)이 필요하다.
원문 초록
This paper presents a preliminary study of an alternative to the affine transformation underlying conventional neural-network layers. In the proposed Soft Dominance Layer, each output unit compares input coordinates with a learnable reference vector and aggregates smooth inequality responses. A sigmoid relaxation makes the comparisons differentiable, while a sharpness parameter $α$ controls their transition toward hard threshold decisions. The aim is to examine the trainability and direct threshold interpretation of this primitive, not to claim a replacement for affine layers. In single-run MNIST experiments, the highest observed Soft Dominance accuracy is $0.9061$ without annealing and $0.9173$ with annealing, compared with $0.9827$ for the MLP baseline. These descriptive results do not establish reliable configuration rankings or a statistically supported annealing benefit. Learned reference vectors exhibit spatial structure, providing qualitative evidence of structured learning. Repeated-seed experiments and broader datasets are required to assess robustness and practical relevance beyond this proof of concept.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
14 pages, 4 figures