심층 학습과 희소 모델링을 이용한 신경 기호 회귀
Neural Symbollic Regression Using Deep Learning and Sparse Modelling
한국어 초록
기호 회귀(Symbolic Regression, SR)는 데이터 안의 근본적 관계를 나타내는 간결한 수학적 표현식을 찾는 것을 목표로 하며, 블랙박스 모델보다 뛰어난 해석 가능성과 과학적 이해를 제공한다. 그럼에도 유전 프로그래밍(Genetic Programming) 같은 전통적 방법은 확장성(scalability) 문제에 직면하고 노이즈에 매우 민감한 반면, SINDy와 같은 희소 회귀(sparse regression) 기법은 미리 정해진 특징(feature) 라이브러리에 크게 의존한다. 본 연구에서는 신경망을 기호 발견을 위한 함수적 전처리기(functional preconditioner)로 취급하는 신경 기호 회귀(Neural Symbolic Regression, NSR) 프레임워크를 제안한다. 우리 접근법은 분리된 파이프라인을 사용한다. 신경망이 먼저 상호작용을 고려한(interaction-aware) 비선형 특징 공간에서 목표 함수의 매끄럽고 노이즈에 강건한 근사를 학습하고, 이어 LASSO를 적용해 희소하고 해석 가능한 폐형식(closed-form) 표현식을 추출한다. Ray Tune과 ASHA 스케줄링을 활용한 분산 하이퍼파라미터(hyperparameter) 최적화를 통합하여 예측 정확도와 기호적 충실도(symbolic fidelity)를 높인다. Nguyen 벤치마크 스위트에서의 실험 결과, 본 방법은 RMSE, 노이즈 강건성, 분포 밖(out-of-distribution) 일반화 측면에서 SINDy와 하이퍼파라미터 튜닝을 하지 않은 신경망 기준선을 일관되게 능가한다. 소거(ablation) 연구는 특징 상호작용, 신경망 깊이, 튜닝 전략의 중요성을 확인한다. 전반적으로 본 연구는 확장 가능하고 이해하기 쉬운 신경-기호 프레임워크를 제시하며, 신경 근사와 과학적 기계학습(scientific machine learning)을 위한 희소 방정식 발견 사이의 견고한 연결고리를 마련한다.
원문 초록
Symbolic Regression (SR) seeks to find succinct mathematical expressions that represent the fundamental relationships within data, providing interpretability and scientific understanding that exceeds that of black-box models. Nevertheless, traditional methods like Genetic Programming face challenges with scalability and are highly sensitive to noise, while sparse regression techniques such as SINDy rely significantly on predetermined feature libraries. In this work, we present a Neural Symbolic Regression (NSR) framework that treats neural networks as functional preconditioners for symbolic discovery. Our approach uses a decoupled pipeline: a neural network first learns a smooth, noise-robust approximation of the target function in an interaction- aware nonlinear feature space. LASSO is then applied to extract sparse, interpretable closed-form expressions. To improve predictive accuracy and symbolic fidelity by integrating distributed hyperparameter optimization with Ray Tune and ASHA scheduling. Experiments on the Nguyen benchmark suite show that our approach consistently outperforms SINDy and non-tuned neural baselines in RMSE, noise robustness, and out-of-distribution generalization. Ablation studies confirm the significance of feature interactions, neural depth, and tuning strategies. In general, this study presents a scalable and understandable neural-symbolic framework, creating a solid link between neural approximation and the discovery of sparse equations for scientific machine learning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.01102v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.