PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19850v1cs.LG

특징 선택과 상호작용을 갖춘 신경망 가산 및 기저 모델

Neural Additive and Basis Models with Feature Selection and Interactions

심층 신경망(DNNs)은 다양한 분야에서 우수한 성능을 보이지만 종종 낮은 해석 가능성 문제를 겪습니다. 신경망 가산 모델(NAM)과 이의 변형인 신경망 기저 모델(NBM)은 일반화 가산 모델(GAMs) 내에서 신경망(NNs)을 비선형 형상 함수로 사용합니다. 두 모델 모두 높은 해석 가능성을 가지며 신경망 학습에 있어 우수한 성능과 유연성을 보입니다. NAM과 NBM은 GAM 기반 아키텍처 덕분에 예측에 대한 각 특징의 기여도를 제공하고 시각화할 수 있습니다. 그러나 특징 상호작용을 고려하기 위해 2-입력 신경망을 사용하거나 고차원 데이터셋에 적용할 경우, 필요한 연산 자원의 증가로 인해 NAM과 NBM의 학습이 다루기 힘들어집니다. 본 논문은 연산 병목 현상을 해결하기 위해 NAM과 NBM에 특징 선택 메커니즘을 통합하는 방법을 제안합니다. 두 모델에 특징 선택 층을 도입하고 학습 중에 선택 가중치를 업데이트합니다. 우리의 방법은 간단하며 기존 NAM 및 NBM과 비교하여 연산 비용과 모델 크기를 줄일 수 있습니다. 또한, 고차원 데이터셋에서도 2-입력 신경망을 사용하여 특징 상호작용을 포착할 수 있게 합니다. 제안된 모델이 기존 NAM 및 NBM에 비해 연산 효율적이며, 최신 GAM들과 비교하여 더 우수하거나 유사한 성능을 보임을 입증합니다.