RISR: 대규모 언어 모델을 활용한 잔차 기반 과학 방정식 발견
RISR: Residual-Informed Scientific Equation Discovery with Large Language Models
한국어 초록
기호 회귀(Symbolic regression)는 구조적 탐색과 수치적 피팅을 결합하지만, 집계된 적합도 점수는 남은 오차가 입력에 따라 어떻게 변하는지 설명하지 못합니다. 본 논문에서는 이러한 오차 패턴을 활용하여 수식 발견을 유도하고 어떤 보정이 피팅할 가치가 있는지 학습하는 잔차 기반(residual-informed) 방법인 RISR을 소개합니다. 잔차 인코더는 정렬된 입력, 타깃, 현재 예측값 및 잔차를 연속 토큰으로 압축하며, 이는 언어 모델이 수식을 제안하도록 조건을 부여합니다. 이후의 개선을 위해 듀얼 뷰 관계형 인코더(dual-view relational encoder)는 가법적 잔차와 정규화된 승법적 잔차를 사용하여 후보 보정값의 피팅 후 효용성을 예측합니다. 저자들은 LLM-SRBench의 과학적 과제에서 RISR을 평가합니다. RISR은 1% 및 0.1%의 지점별 상대 오차 허용 오차에서 각각 63.57% 및 38.50%의 ID 정확도를 달성합니다. 이에 상응하는 OOD 정확도는 56.07% 및 38.24%입니다. RISR은 동일한 백본을 사용하는 보고된 베이스라인보다 우수한 성능을 보입니다. 이러한 결과는 본 논문의 잔차 기반 접근법이 수치 방정식 복원을 향상시킬 수 있음을 보여줍니다.
원문 초록
Symbolic regression combines structural search with numerical fitting, but aggregate fit scores do not describe how the remaining error varies across inputs. We introduce RISR, a residual-informed method that uses these error patterns to guide formula discovery and learn which corrections are worth fitting. A residual encoder compresses aligned inputs, targets, current predictions, and residuals into continuous tokens that condition a language model to propose formulas. For subsequent refinement, a dual-view relational encoder uses additive and regularized multiplicative residuals to predict the post-fit utility of candidate corrections. We evaluate RISR on scientific tasks from the LLM-SRBench. RISR achieves 63.57% and 38.50% ID accuracy at the 1% and 0.1% pointwise relative-error tolerances, respectively. The corresponding OOD accuracies are 56.07% and 38.24%. RISR outperforms the reported baselines using the same backbone. The results show that our residual-informed approach can improve numerical equation recovery.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.