arXiv:2610.11387v1 cs.SC

RISR: 대규모 언어 모델을 활용한 잔차 기반 과학 방정식 발견

RISR: Residual-Informed Scientific Equation Discovery with Large Language Models

Haobo Li, Wenshuo Zhang, Wenxiao Zhao, Eunseo Jung, Rui Sheng, Yushi Sun, Peiqin Zhuang, Hao Chen, Fenghua Ling

제출 2026-10-08

한국어 초록

기호 회귀(Symbolic regression)는 구조적 탐색과 수치적 피팅을 결합하지만, 집계된 적합도 점수는 남은 오차가 입력에 따라 어떻게 변하는지 설명하지 못합니다. 본 논문에서는 이러한 오차 패턴을 활용하여 수식 발견을 유도하고 어떤 보정이 피팅할 가치가 있는지 학습하는 잔차 기반(residual-informed) 방법인 RISR을 소개합니다. 잔차 인코더는 정렬된 입력, 타깃, 현재 예측값 및 잔차를 연속 토큰으로 압축하며, 이는 언어 모델이 수식을 제안하도록 조건을 부여합니다. 이후의 개선을 위해 듀얼 뷰 관계형 인코더(dual-view relational encoder)는 가법적 잔차와 정규화된 승법적 잔차를 사용하여 후보 보정값의 피팅 후 효용성을 예측합니다. 저자들은 LLM-SRBench의 과학적 과제에서 RISR을 평가합니다. RISR은 1% 및 0.1%의 지점별 상대 오차 허용 오차에서 각각 63.57% 및 38.50%의 ID 정확도를 달성합니다. 이에 상응하는 OOD 정확도는 56.07% 및 38.24%입니다. RISR은 동일한 백본을 사용하는 보고된 베이스라인보다 우수한 성능을 보입니다. 이러한 결과는 본 논문의 잔차 기반 접근법이 수치 방정식 복원을 향상시킬 수 있음을 보여줍니다.

원문 초록

Symbolic regression combines structural search with numerical fitting, but aggregate fit scores do not describe how the remaining error varies across inputs. We introduce RISR, a residual-informed method that uses these error patterns to guide formula discovery and learn which corrections are worth fitting. A residual encoder compresses aligned inputs, targets, current predictions, and residuals into continuous tokens that condition a language model to propose formulas. For subsequent refinement, a dual-view relational encoder uses additive and regularized multiplicative residuals to predict the post-fit utility of candidate corrections. We evaluate RISR on scientific tasks from the LLM-SRBench. RISR achieves 63.57% and 38.50% ID accuracy at the 1% and 0.1% pointwise relative-error tolerances, respectively. The corresponding OOD accuracies are 56.07% and 38.24%. RISR outperforms the reported baselines using the same backbone. The results show that our residual-informed approach can improve numerical equation recovery.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11387v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.