arXiv:2306.00153

Information Fusion via Symbolic Regression: A Tutorial in the Context of Human Health

Jennifer J. Schnur, Nitesh V. Chawla

제출 2023-05-31

원문 초록

This tutorial paper provides a general overview of symbolic regression (SR) with specific focus on standards of interpretability. We posit that interpretable modeling, although its definition is still disputed in the literature, is a practical way to support the evaluation of successful information fusion. In order to convey the benefits of SR as a modeling technique, we demonstrate an application within the field of health and nutrition using publicly available National Health and Nutrition Examination Survey (NHANES) data from the Centers for Disease Control and Prevention (CDC), fusing together anthropometric markers into a simple mathematical expression to estimate body fat percentage. We discuss the advantages and challenges associated with SR modeling and provide qualitative and quantitative analyses of the learned models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10931v1cs.LG공통 태그 regression, Symbolic Regression

기호 회귀에서 선택 압력으로서의 계수 보정

Coefficient Calibration as Selection Pressure in Symbolic Regression

밈틱 기호 회귀(memetic symbolic regression)에서는 후보 구조들이 계수 보정(coefficient calibration)을 거친 후 비교되므로, 보정 프로토콜 자체가 진화적 선택에 기여한다. 표준적인 중앙집중식 보정은 각 구조를 풀링된 샘플에서의 최적값으로 평가하며, 이 보정이 공변량 변화(covariate shift)에 대해 얼마나 안정적인지를 고려하지 않기 때문에, 적합이 샘플별 계수에 의존하는 구조를 선호하게 될 수 있다. 우리는 디리클레-싱크혼 상수 평균화(Dirichlet-Sinkhorn Constant Averaging, DSCA)를 제안한다. 이는 최적화 데이터를 서로 다른 공변량 분포를 가진 동일한 크기의 부분집합으로 분할하고, 각 후보를 모든 분할에서 독립적으로 보정한 다음, 그 결과로 얻어진 파라미터들의 평균값에서 평가하는 보정 전략이다. 우리는 올바르게 특정되고 식별 가능한(identifiable) 수식에 대해서는 DSCA의 중앙집중식 보정에 대한 초과 손실이 모집단 수준에서 사라지는 반면, 모형이 잘못 특정된(misspecified) 경우에는 분할별 보정이 풀링된 최적값으로 수렴하지 않을 때 이 초과 손실이 지속됨을 보인다. 합성 벤치마크와 10개의 실세계 데이터셋에서, DSCA는 음의 로그가능도(negative log-likelihood)와 아카이케 정보기준(Akaike information criterion) 및 베이즈 정보기준(Bayesian information criterion)에 의한 선택 하에서, 중앙집중식 BFGS(Broyden-Fletcher-Goldfarb-Shanno) 및 레벤버그-마쿼트(Levenberg-Marquardt) 보정에 비해 함수 복원(functional recovery)과 정확도-복잡도 트레이드오프(accuracy-complexity trade-off)를 개선한다. 메커니즘 분석은 DSCA의 초과 손실을 일반화 격차(generalization gap)와 연관시키며, 이 효과가 반복적인 중앙집중식 피팅으로는 재현되지 않음을 보여준다. 이러한 결과는 통제된 이형(heterogeneous) 보정이 기호 회귀 탐색에서 보완적인 선택 압력의 원천을 제공함을 시사한다.

arXiv:2607.23505v1cs.NE공통 태그 regression, Symbolic Regression

유전 프로그래밍 심볼릭 회귀에서 제로샷 LLM 생성 부모 선택 벤치마킹

Benchmarking Zero-Shot LLM-Generated Parent Selection in Genetic Programming for Symbolic Regression

부모 선택은 심볼릭 회귀를 위한 유전 프로그래밍(GP)에서 탐험, 활용, 복잡도 제어에 중요한 영향을 미친다. 대규모 언어 모델(LLM)이 반복적 메타 진화 없이 제로샷 설정에서 효과적인 연산자를 합성할 수 있는지는 불분명하다. 여기서 제로샷이란 모델이 참조 연산자나 반복적 피드백 없이 작업 설명만 받는 것을 의미한다. 본 연구에서는 심볼릭 회귀를 위한 표준 GP 프레임워크 내에서 8개 LLM에 걸쳐 부모 선택 연산자의 제로샷 합성을 벤치마킹한다. 각 모델은 부모 선택 연산자를 생성하기 위해 동일한 자연어 프롬프트를 받으며, 생성된 연산자는 부모 선택 연산자만 교체된 표준 GP 프레임워크에서 평가되고, 다른 모든 구성 요소와 진화 탐색 예산은 일정하게 유지된다. 각 LLM에 대해 10개의 독립적인 제로샷 연산자를 12개 OpenML 회귀 벤치마크에서 평가하고, 자동 lexicase 및 토너먼트 선택 기준선과 비교한다. Claude Sonnet~4.6과 Gemini~3.1 Pro는 학습 및 홀드아웃 테스트 $R^2$ 모두에서 일관되게 강한 성능을 보여 두드러진다. 벤치마크에서 가장 강한 연산자인 Kimi~K2.5 제로샷 합성은 탐색 효과성에서 자동 lexicase 및 토너먼트 선택 기준선을 능가한다. 이 결과는 제로샷 LLM 합성이 경쟁력 있는 GP 선택 연산자를 생성하는 실행 가능한 접근법임을 시사한다. 분석에 따르면 생성된 연산자 중 다수가 선택을 안내하기 위해 semantics를 사용하며, 이는 LLM이 작업 설명만으로 비자명한 탐색 휴리스틱을 생성할 수 있음을 시사한다. 또한 공개 LLM 리더보드 순위와 GP 성능 간의 관계를 조사한다. Humanity's Last Exam, SWE-bench Verified와 같이 널리 사용되는 벤치마크는 학습 $R^2$와 강한 상관관계를 보이지만, 홀드아웃 테스트 $R^2$와의 관계는 더 약하고 덜 명확하다.

arXiv:2607.06731v3cs.NE공통 태그 regression, Symbolic Regression

Beagle 프레임워크 소개 및 튜토리얼

An Introduction and Tutorial for the Beagle Framework

Beagle 프레임워크는 GPU 기반의 유전 프로그래밍(genetic programming) 프레임워크로, NVIDIA GPU를 활용하여 대규모 집단 크기(population size)로 매우 효율적인 유전 프로그래밍 탐색을 가능하게 한다. 본 기술 가이드는 Beagle 프레임워크에 대한 소개와 함께, 심볼릭 회귀(symbolic regression) 문제에 이 프레임워크를 활용하기 위한 상세한 지침을 제공한다.

arXiv:2607.13608v1cs.AI공통 태그 regression, Symbolic Regression

대규모 언어 모델 기반 에이전트 시스템을 활용한 생물학적 시스템의 상미분방정식 자동 발견

Automatic Ordinary Differential Equations Discovery For Biological Systems Using Large Language Model Powered Agentic System

자동 과학 발견은 오랫동안 계산 학자들의 목표였다 — 스스로 자연의 비밀을 밝혀내는 기계, 즉 계산 시스템을 데이터 적합 도구를 넘어 우주의 메커니즘적 모델 생성과 정제로 나아가게 하는 것이다. 최근 기호 회귀(symbolic regression, SR) 및 대규모 언어 모델(LLM) 기반 에이전트의 진전은 이러한 시스템이 데이터로부터 방정식을 복구하고, 도메인 사전 지식을 통합하며, 연구 워크플로의 일부를 자동화할 수 있음을 시사한다. 그러나 기존 접근법 대부분은 좁은 방정식 발견 벤치마크에 집중하거나 광범위한 end-to-end 자동화 파이프라인에 초점을 맞추며, 생물학적 시스템은 비교적 덜 탐구되어 있다. 본 연구에서는 MEDA 시스템을 소개한다. 이는 생물학적 및 생물학적으로 영감받은 동역학 시스템의 상미분방정식(ODE) 모델 발견을 위한 LLM 및 SR 기반 에이전트 프레임워크이다. MEDA는 배경 지식을 검색하고, 허용 가능한 변수를 정의하며, 메커니즘적 제약을 생성하고, 후보 상미분방정식을 제안하며, 이를 적합하고 평가한다. 실험 데이터 유무와 관계없이 정규 모델 검색, 추론 기반의 미관측 변형 외삽, 그리고 개방형 발견 과제에서 이를 평가한다. 이러한 설정 전반에서 MEDA는 올바른 상태 변수를 복구했으며, 검색 및 외삽 과제에서 강력한 구조 복원을 달성했고, 생물학적으로 타당한 발견 지향 모델을 생성했다. 절제 및 강건성 분석에 따르면, 지식 유도 정식화와 메커니즘적 제약은 핵심 구성 요소이며, 수치 적합만으로는 궤적과 호환되지만 생물학적으로 부정확한 방정식을 유지할 수 있다.

arXiv:2607.08150v1cs.LG공통 태그 regression, Symbolic Regression

DeepPySR -- 실세계 과학적 발견을 위한 동적 가지치기, 파레토 선택, 계층적 합성을 갖춘 기호 회귀 프레임워크

DeepPySR -- A Symbolic Regression Framework with Dynamic Pruning, Pareto Selection, and Hierarchical Composition for Real-World Scientific Discovery

기호 회귀(Symbolic Regression, SR)는 데이터로부터 분석적 방정식을 발견하여, SHAP이나 LIME과 같은 불안정한 사후 분석 도구에 의존하는 블랙박스 방법과 달리 직접 해석 가능한 수식을 갖춘 글래스박스 모델을 산출한다. 이러한 투명성은 임상 의학과 사회과학에서 매우 중요하지만, SR은 세 가지 과제에 직면해 있다: 고차원 입력, 파레토 프론트 수식의 원칙적 선택, 그리고 다중공선성 및 클래스 불균형과 같은 데이터 불규칙성이다. 우리는 이러한 문제들을 해결하는 DeepPySR을 소개한다. DeepPySR은 탐색 과정에서 관련 없는 특징을 제거하는 동적 변수 가지치기 스케줄, 정확도와 복잡도 간의 트레이드오프를 제거하는 지수적 파레토 선택 기준, 그리고 계층적 기호 합성을 위한 다층(multi-layer) 아키텍처를 활용한다. 네 가지 Feynman 물리 벤치마크와 일곱 가지 의생명 및 사회과학 데이터셋에서 DeepPySR은 PySR 및 기준 모델 대비 체지방(R²: 0.794 vs. 0.702), 심장 질환(F1: 0.898 vs. 0.787), 학생 성취도(R²: 0.964 vs. 0.948), Raine BMI(R²: 0.525 vs. 0.370)에서 우수한 성능을 보이며, 도메인 위험 인자와 일치하는 해석 가능한 수식을 생성한다.

arXiv:2607.04156v1cs.AI공통 태그 regression, Symbolic Regression

언어 모델이 탐색을 제어하여 기호 방정식 발견을 안내한다

Language models guide symbolic equation discovery by controlling search

과학적 방정식 발견은 광범위한 도메인 사전 지식과 엄격한 수치 검증을 결합해야 한다. 기호 회귀(symbolic regression)는 수치적 근거를 제공하지만 조합론적 탐색 공간에 직면하는 반면, 많은 언어 모델 시스템은 모델이 수식을 직접 제안하거나 선택하도록 요청한다. 우리는 다른 역할 분담 방식을 검토한다. 우리는 언어 모델이 방정식 작성자, 후보 결정자, 또는 탐색 제어기 역할을 수행하는 역할 명세를, 종단간(end-to-end) 언어 모델 및 순수 수치 기준선과 함께 비교한다. 여기서 제안하는 제어기 설정인 LLM-PySR에서, 언어 모델은 변수, 연산자, 변환 및 탐색 깊이를 지정하고, 기호 회귀는 표현식을 열거하고 적합시키며, 결정론적 지표가 보존 여부를 결정한다. 74개의 AI-Feynman 방정식과 7개의 복잡한 수식 복원 태스크에 걸쳐, 탐색 제어는 정확도, 복잡도, 안정성 및 비용의 균형에서 가장 강한 성과를 달성했다. 독립적인 배터리 데이터셋에서, LLM-PySR은 초기 전압 곡선 변위와 사이클 수명 사이의 간결한 구간선형(piecewise-linear) 관계를 식별했다. 이 결과는 언어 모델이 어떤 방정식이 살아남을지 결정하는 것보다 가설 탐험을 형성해야 함을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.