심층 학습과 희소 모델링을 이용한 신경 기호 회귀
Neural Symbollic Regression Using Deep Learning and Sparse Modelling
기호 회귀(Symbolic Regression, SR)는 데이터 안의 근본적 관계를 나타내는 간결한 수학적 표현식을 찾는 것을 목표로 하며, 블랙박스 모델보다 뛰어난 해석 가능성과 과학적 이해를 제공한다. 그럼에도 유전 프로그래밍(Genetic Programming) 같은 전통적 방법은 확장성(scalability) 문제에 직면하고 노이즈에 매우 민감한 반면, SINDy와 같은 희소 회귀(sparse regression) 기법은 미리 정해진 특징(feature) 라이브러리에 크게 의존한다. 본 연구에서는 신경망을 기호 발견을 위한 함수적 전처리기(functional preconditioner)로 취급하는 신경 기호 회귀(Neural Symbolic Regression, NSR) 프레임워크를 제안한다. 우리 접근법은 분리된 파이프라인을 사용한다. 신경망이 먼저 상호작용을 고려한(interaction-aware) 비선형 특징 공간에서 목표 함수의 매끄럽고 노이즈에 강건한 근사를 학습하고, 이어 LASSO를 적용해 희소하고 해석 가능한 폐형식(closed-form) 표현식을 추출한다. Ray Tune과 ASHA 스케줄링을 활용한 분산 하이퍼파라미터(hyperparameter) 최적화를 통합하여 예측 정확도와 기호적 충실도(symbolic fidelity)를 높인다. Nguyen 벤치마크 스위트에서의 실험 결과, 본 방법은 RMSE, 노이즈 강건성, 분포 밖(out-of-distribution) 일반화 측면에서 SINDy와 하이퍼파라미터 튜닝을 하지 않은 신경망 기준선을 일관되게 능가한다. 소거(ablation) 연구는 특징 상호작용, 신경망 깊이, 튜닝 전략의 중요성을 확인한다. 전반적으로 본 연구는 확장 가능하고 이해하기 쉬운 신경-기호 프레임워크를 제시하며, 신경 근사와 과학적 기계학습(scientific machine learning)을 위한 희소 방정식 발견 사이의 견고한 연결고리를 마련한다.