arXiv:2606.19850v1 cs.LG

특징 선택과 상호작용을 갖춘 신경망 가산 및 기저 모델

Neural Additive and Basis Models with Feature Selection and Interactions

Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa

제출 2026-06-18

한국어 초록

심층 신경망(DNNs)은 다양한 분야에서 우수한 성능을 보이지만 종종 낮은 해석 가능성 문제를 겪습니다. 신경망 가산 모델(NAM)과 이의 변형인 신경망 기저 모델(NBM)은 일반화 가산 모델(GAMs) 내에서 신경망(NNs)을 비선형 형상 함수로 사용합니다. 두 모델 모두 높은 해석 가능성을 가지며 신경망 학습에 있어 우수한 성능과 유연성을 보입니다. NAM과 NBM은 GAM 기반 아키텍처 덕분에 예측에 대한 각 특징의 기여도를 제공하고 시각화할 수 있습니다. 그러나 특징 상호작용을 고려하기 위해 2-입력 신경망을 사용하거나 고차원 데이터셋에 적용할 경우, 필요한 연산 자원의 증가로 인해 NAM과 NBM의 학습이 다루기 힘들어집니다. 본 논문은 연산 병목 현상을 해결하기 위해 NAM과 NBM에 특징 선택 메커니즘을 통합하는 방법을 제안합니다. 두 모델에 특징 선택 층을 도입하고 학습 중에 선택 가중치를 업데이트합니다. 우리의 방법은 간단하며 기존 NAM 및 NBM과 비교하여 연산 비용과 모델 크기를 줄일 수 있습니다. 또한, 고차원 데이터셋에서도 2-입력 신경망을 사용하여 특징 상호작용을 포착할 수 있게 합니다. 제안된 모델이 기존 NAM 및 NBM에 비해 연산 효율적이며, 최신 GAM들과 비교하여 더 우수하거나 유사한 성능을 보임을 입증합니다.

원문 초록

Deep neural networks (DNNs) exhibit attractive performance in various fields but often suffer from low interpretability. The neural additive model (NAM) and its variant called the neural basis model (NBM) use neural networks (NNs) as nonlinear shape functions in generalized additive models (GAMs). Both models are highly interpretable and exhibit good performance and flexibility for NN training. NAM and NBM can provide and visualize the contribution of each feature to the prediction owing to GAM-based architectures. However, when using two-input NNs to consider feature interactions or when applying them to high-dimensional datasets, training NAM and NBM becomes intractable due to the increase in the computational resources required. This paper proposes incorporating the feature selection mechanism into NAM and NBM to resolve computational bottlenecks. We introduce the feature selection layer in both models and update the selection weights during training. Our method is simple and can reduce computational costs and model sizes compared to vanilla NAM and NBM. In addition, it enables us to use two-input NNs even in high-dimensional datasets and capture feature interactions. We demonstrate that the proposed models are computationally efficient compared to vanilla NAM and NBM, and they exhibit better or comparable performance with state-of-the-art GAMs.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19850v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.21289v1cs.LG공통 태그 feature selection, explainable artificial intelligence xai

무작위 마스킹 스펙트럼 재구성이 DNN의 판별 파수 식별을 돕는다

Reconstructing Randomly Masked Spectra Helps DNNs Identify Discriminant Wavenumbers

진동 분광법(vibrational spectroscopy)에 기반한 비파괴 검출 방법은 산업 화학, 제약, 국방 등 다양한 분야에서 매우 중요하다. 최근 심층 학습이 진동 분광법에 도입되어 큰 잠재력을 보여주고 있다. 대규모 라벨 데이터셋을 제공하는 이미지, 텍스트 등과 달리 진동 분광 데이터는 매우 제한적이어서 전이 학습(transfer learning)과 메타 학습(meta learning)을 넘어서는 새로운 개념이 필요하다. 이를 해결하기 위해 작업 강화 증강 네트워크(task-enhanced augmentation network, TeaNet)를 제안한다. TeaNet의 핵심 구성 요소는 무작위로 마스킹된 스펙트럼을 입력받아 원본과 유사하지만 도메인에서 학습된 추가 변화를 포함하는 재구성 샘플을 출력하는 재구성 모듈이다. 이러한 증강 샘플은 분류 모델을 학습하는 데 사용된다. 재구성 부분과 예측 부분은 역전파(back-propagation)를 통해 동시에 end-to-end로 학습된다. 합성 및 실제 데이터셋 모두에서의 결과는 제안 방법의 우수성을 검증했다. 가장 어려운 합성 시나리오에서 TeaNet은 CNN보다 17% 더 우수한 성능을 보였다. TeaNet과 CNN의 뉴런 응답을 시각화하고 분석한 결과, TeaNet이 판별 파수(discriminant wavenumbers)를 식별하는 능력이 CNN에 비해 뛰어남을 확인했다. 본 접근법은 일반적이며 다른 도메인에 쉽게 적용할 수 있어, 더 정확하고 해석 가능한 퓨샷(few-shot) 학습에 대한 해결책을 제공한다.

arXiv:2606.22780v1cs.LG공통 태그 feature selection, explainable artificial intelligence xai

드래곤플라이 알고리즘과 생성적 적대 신경망 오버샘플링을 활용한 약물 영향 집단의 설명 가능 AI 정신 건강 예측

Explainable AI for Mental Health Prediction in Drug-Affected Populations with Dragonfly Algorithm and GAN Oversampling

약물 사용자들 사이의 정신 질환은 국제적으로 증가하는 문제이며, 특히 조기 발견을 쉽게 수행할 수 없는 지역에서 두드러진다. 현재 문헌은 약물 사용자에 대한 AI 기반 정신 건강 분석의 활용을 대체로 간과하는 경향이 있으며, 클래스 불균형 처리의 낮은 품질, 낮은 해석 가능성, 부적절한 하이퍼파라미터 최적화는 예측 품질과 임상적 유용성을 저하시킬 수 있다. 본 연구는 약물 영향을 받은 사람들의 다차원 데이터셋을 사용하여 다중 클래스 정신 건강 예측을 위한 상세하고 설명 가능한 머신러닝(ML) 모델을 제시한다. 우리는 기존 방법의 일부 한계를 해결하기 위해 하이브리드 PCA-정보 이득(PCA-IG) 특징 선택, 생성적 적대 신경망(GAN) 기반 오버샘플링, 드래곤플라이 알고리즘(DA)으로 최적화된 XGBoost를 결합한다. 제안된 프레임워크는 고차원 범주형 데이터를 효과적으로 처리하고, 클래스 불균형 문제를 해결하며, 지능형 하이퍼파라미터 튜닝을 통해 예측 성능을 향상시킨다. 실험 결과, GAN 기반 오버샘플링과 함께 DA로 최적화된 XGBoost 모델은 정확도 94.17%, 가중 F1 점수 93.80%를 달성하여 전통적 모델 및 기준선 모델보다 우수한 성능을 보였다. 행동, 생활습관, 건강 요인—특히 수면의 질, 신체 건강, 감정 조절—은 정신 건강을 강하게 예측하며, 특징 분석을 통해 인구통계학적 요인은 영향이 미미함을 확인하였다. SHAP 기반 설명 가능 AI는 이해하기 쉬운 개별 사례 수준의 정보를 제공하여, 임상 환경에서 사용될 모델의 해석 가능성과 신뢰성을 높인다. 결과는 이 프레임워크가 유효한 정신 건강 예측 도구를 생성할 잠재력을 가지며, 이는 조기 개입을 촉진하고 약물 영향을 받은 사람들의 치료를 개선할 수 있음을 시사한다.

arXiv:2602.22277v2cs.LG공통 태그 feature selection, explainable artificial intelligence xai

X-REFINE: 채널 추정을 위한 XAI 기반 관련성 입력 필터링 및 아키텍처 미세조정

X-REFINE: XAI-based RElevance input-Filtering and archItecture fiNe-tuning for channel Estimation

AI 네이티브 아키텍처는 6G 무선 통신에 필수적입니다. 채널 추정(channel estimation)과 같은 중요한 애플리케이션에 사용되는 심층 학습(deep learning) 모델의 블랙박스 특성과 높은 복잡성은 실제 배포를 제한합니다. 섭동 기반 설명 가능한 인공지능(XAI) 솔루션은 입력 필터링을 제공하지만, 내부 구조 최적화는 간과하는 경우가 많습니다. 우리는 입력 필터링과 아키텍처 미세조정(fine-tuning)을 통합한 XAI 기반 프레임워크인 X-REFINE을 제안합니다. 분해 기반의 부호 안정화된 LRP 엡실론 규칙을 활용하여, X-REFINE은 예측을 역전파(backpropagate)하고 부반송파(subcarriers)와 은닉 뉴런(hidden neurons) 모두에 대해 고해상도 관련성(relevance) 점수를 도출합니다. 이를 통해 가장 신뢰할 수 있는 모델 구성 요소를 식별하는 신뢰할 수 있는 최적화가 가능해집니다. 시뮬레이션 결과, X-REFINE은 외부 섭동 기반 XAI 프레임워크와 비교하여 우수한 성능-복잡도-해석 가능성 트레이드오프를 달성하며, 견고한 비트 오류율(BER) 성능을 유지하면서 계산 복잡도를 크게 줄이는 것으로 나타났습니다.

arXiv:2606.11857v1eess.SP공통 태그 feature selection, explainable artificial intelligence xai

REACH: 다중 채널 차량 채널 추정을 위한 해석 가능성 기반 특징 식별 및 아키텍처 압축

REACH: Interpretability-Driven Feature Identification and Architecture Compression for Multi-Channel Vehicular Channel Estimation

다중 채널 혼합 SNR 학습은 IEEE 802.11p 차량 통신을 위한 심층 학습 채널 추정기의 분포 외(OOD) 일반화를 향상시키지만, 이를 담당하는 내부 메커니즘은 아직 설명되지 않았다. 본 연구는 REACH(Relevance-based Explanation and Architectural Compression for cHannel estimators)를 제안한다. 이는 그래디언트 기반 해석 가능성 프레임워크로 두 수준에서 동작한다. 입력 수준 기여도(attribution)는 평가된 모든 채널 조건에서 일관되게 관련 있는 시간-주파수 특징의 부분집합을 식별하여, 최소한의 성능 손실로 입력 차원 축소를 가능하게 한다. 필터 수준 기여도는 거의 보편적인 내부 표현을 드러내어, 관찰된 OOD 일반화에 대한 표현적 설명을 제공한다. 그 결과로 얻은 필터 분류체계를 바탕으로 한 관련성 기반 아키텍처 압축은 파라미터 수와 부동소수점 연산(FLOPs) 수를 크게 줄이면서 정규화 평균 제곱 오차(NMSE) 저하를 1 dB 미만으로 유지하며, 압축이 증가할수록 OOD 일반화는 분포 내 정확도보다 더 완만하게 저하된다.

arXiv:2512.11081v2stat.ML공통 태그 feature selection, explainable artificial intelligence xai

랜덤 포레스트에서 국소적으로 중요한 부호가 있는 특징 및 상호작용의 증명 가능한 복구

Provable Recovery of Locally Important Signed Features and Interactions from Random Forest

특징 및 상호작용 중요도(FII) 방법은 복잡한 예측 모델에서 입력 변수와 그 상호작용의 관련성을 평가하기 위해 지도 학습에서 필수적입니다. 개인 맞춤형 의학과 같은 많은 도메인에서는 전반적인 특징 중요도를 요약하는 전역 점수보다는 개별 예측에 대한 국소적 해석이 종종 요구됩니다. 랜덤 포레스트(RF)는 이러한 설정에서 널리 사용되며, 기존의 해석 가능성 방법은 일반적으로 모델 특화 통찰을 제공하기 위해 트리 구조와 분할 통계량을 활용합니다. 그러나 RF에 대한 국소적 FII 방법의 이론적 이해는 여전히 제한적이어서, 개별 예측에 대한 높은 중요도 점수를 해석하는 방법이 불분명합니다. 우리는 의사결정 경로를 따라 특징의 빈번한 동시 발생을 식별하여 전역 패턴과 주어진 테스트 포인트에 특정한 경로에서 관찰된 패턴을 결합하는 새로운 국소적이고 모델 특화적인 FII 방법을 제안합니다. 우리는 우리의 방법이 국소적 스파이크 희소(LSS) 모델 하에서 실제 국소 신호 특징과 그 상호작용을 일관되게 복구하며, 또한 크거나 작은 특징 값이 예측을 주도하는지 여부를 식별한다는 것을 증명합니다. 우리는 시뮬레이션 연구와 실제 데이터 예제를 통해 우리의 방법과 이론적 결과의 유용성을 입증합니다.

arXiv:2605.09028v5cs.LG공통 태그 feature selection

권한 기반 Android 악성코드 탐지에서 도메인 이동 진단 및 완화

Diagnosing and Mitigating Domain Shift in Permission-Based Android Malware Detection

기계 학습 기반 Android 악성코드 탐지기는 도메인 이동(domain shift) 때문에 실제 배포 환경에서 자주 실패하며, 한 데이터 소스에서 학습된 모델이 다른 소스의 애플리케이션에서는 성능이 크게 떨어진다. 본 논문은 교차 도메인(cross-domain) 조건에서 권한 기반 탐지기의 일반화 가능성과 해석 가능성에 대한 포괄적인 연구를 제시한다. PerMalDroid와 NATICUSdroid라는 두 상호 보완적 데이터셋과 다섯 가지 앙상블 분류기를 사용하여, 먼저 도메인 내(intra-domain) 기준선을 설정하며 모델이 92% 이상의 정확도를 달성함을 보인다. 이어 심각한 비대칭적 성능 하락을 정량화한다. PerMalDroid에서 학습된 모델은 NATICUSdroid에 잘 일반화되지만(정확도 86%), 반대 방향에서는 정확도가 73%까지 급격히 하락한다. 설명 가능한 AI(Explainable AI) 분석은 이봉(bimodal) 특징 분포를 밝히고, 특징 중요도가 매우 불안정하며 핵심 권한(permission)이 도메인에 따라 영향력을 잃거나 얻는다는 것을 보여준다. 서로 다른 도메인의 예측 특징 집합은 근본적으로 불일치하며, 모델은 데이터셋별로 서로 다른 권한에 의존한다. 가장 중요하게, 절삭(ablation) 연구는 대부분의 모델에서 노이즈가 있는 특징 집합으로 학습할 경우 일반화가 저조함을 보여 주며, 이는 누락된 특징보다 도메인 특이적 인공물(artifact)이 더 큰 장애물임을 확인한다. 이를 완화하기 위해 공통 특징의 교집합에 기반한 하이브리드 학습 전략을 검증하였으며, 교차 도메인 성능을 성공적으로 회복하여 PerMalDroid에서 88%의 정확도를 달성하고 NATICUSdroid에서는 97%를 유지한다. 이러한 결과는 설명 가능하고 교차 도메인에 강건한 악성코드 탐지 시스템의 중요성을 강조하며, 권한 기반 Android 악성코드 탐지기의 실제 배포 개선을 위한 실용적 경로를 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.