기호 회귀에서 선택 압력으로서의 계수 보정
Coefficient Calibration as Selection Pressure in Symbolic Regression
한국어 초록
밈틱 기호 회귀(memetic symbolic regression)에서는 후보 구조들이 계수 보정(coefficient calibration)을 거친 후 비교되므로, 보정 프로토콜 자체가 진화적 선택에 기여한다. 표준적인 중앙집중식 보정은 각 구조를 풀링된 샘플에서의 최적값으로 평가하며, 이 보정이 공변량 변화(covariate shift)에 대해 얼마나 안정적인지를 고려하지 않기 때문에, 적합이 샘플별 계수에 의존하는 구조를 선호하게 될 수 있다. 우리는 디리클레-싱크혼 상수 평균화(Dirichlet-Sinkhorn Constant Averaging, DSCA)를 제안한다. 이는 최적화 데이터를 서로 다른 공변량 분포를 가진 동일한 크기의 부분집합으로 분할하고, 각 후보를 모든 분할에서 독립적으로 보정한 다음, 그 결과로 얻어진 파라미터들의 평균값에서 평가하는 보정 전략이다. 우리는 올바르게 특정되고 식별 가능한(identifiable) 수식에 대해서는 DSCA의 중앙집중식 보정에 대한 초과 손실이 모집단 수준에서 사라지는 반면, 모형이 잘못 특정된(misspecified) 경우에는 분할별 보정이 풀링된 최적값으로 수렴하지 않을 때 이 초과 손실이 지속됨을 보인다. 합성 벤치마크와 10개의 실세계 데이터셋에서, DSCA는 음의 로그가능도(negative log-likelihood)와 아카이케 정보기준(Akaike information criterion) 및 베이즈 정보기준(Bayesian information criterion)에 의한 선택 하에서, 중앙집중식 BFGS(Broyden-Fletcher-Goldfarb-Shanno) 및 레벤버그-마쿼트(Levenberg-Marquardt) 보정에 비해 함수 복원(functional recovery)과 정확도-복잡도 트레이드오프(accuracy-complexity trade-off)를 개선한다. 메커니즘 분석은 DSCA의 초과 손실을 일반화 격차(generalization gap)와 연관시키며, 이 효과가 반복적인 중앙집중식 피팅으로는 재현되지 않음을 보여준다. 이러한 결과는 통제된 이형(heterogeneous) 보정이 기호 회귀 탐색에서 보완적인 선택 압력의 원천을 제공함을 시사한다.
원문 초록
In memetic symbolic regression, candidate structures are compared after coefficient calibration, so the calibration protocol itself contributes to evolutionary selection. Standard centralized calibration evaluates each structure at its pooled-sample optimum, ignoring how stable this calibration is under covariate shifts, and can thus favor structures whose fit relies on sample-specific coefficients. We propose Dirichlet-Sinkhorn Constant Averaging (DSCA), a calibration strategy that partitions the optimization data into equally sized subsets with different covariate distributions, calibrates each candidate independently on every partition, and evaluates it at the mean of the resulting parameters. We show that the excess loss of DSCA relative to centralized calibration vanishes at the population level for correctly specified, identifiable expressions, whereas under misspecification it persists when partition-specific calibrations do not aggregate to the pooled optimum. On synthetic benchmarks and ten real-world datasets, DSCA improves functional recovery and the accuracy-complexity trade-off over centralized Broyden-Fletcher-Goldfarb-Shanno and Levenberg-Marquardt calibration, under selection by negative log-likelihood and by the Akaike and Bayesian information criteria. Mechanism analyses associate the DSCA excess loss with the generalization gap and show that the effect is not reproduced by repeated centralized fitting. These results indicate that controlled heterogeneous calibration provides a complementary source of selection pressure in symbolic-regression search.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MMAO-Cls: Metabolic Multi-Agent Optimization for Joint Feature Selection and Classifier Tuning
유전 프로그래밍 심볼릭 회귀에서 제로샷 LLM 생성 부모 선택 벤치마킹
Benchmarking Zero-Shot LLM-Generated Parent Selection in Genetic Programming for Symbolic Regression
부모 선택은 심볼릭 회귀를 위한 유전 프로그래밍(GP)에서 탐험, 활용, 복잡도 제어에 중요한 영향을 미친다. 대규모 언어 모델(LLM)이 반복적 메타 진화 없이 제로샷 설정에서 효과적인 연산자를 합성할 수 있는지는 불분명하다. 여기서 제로샷이란 모델이 참조 연산자나 반복적 피드백 없이 작업 설명만 받는 것을 의미한다. 본 연구에서는 심볼릭 회귀를 위한 표준 GP 프레임워크 내에서 8개 LLM에 걸쳐 부모 선택 연산자의 제로샷 합성을 벤치마킹한다. 각 모델은 부모 선택 연산자를 생성하기 위해 동일한 자연어 프롬프트를 받으며, 생성된 연산자는 부모 선택 연산자만 교체된 표준 GP 프레임워크에서 평가되고, 다른 모든 구성 요소와 진화 탐색 예산은 일정하게 유지된다. 각 LLM에 대해 10개의 독립적인 제로샷 연산자를 12개 OpenML 회귀 벤치마크에서 평가하고, 자동 lexicase 및 토너먼트 선택 기준선과 비교한다. Claude Sonnet~4.6과 Gemini~3.1 Pro는 학습 및 홀드아웃 테스트 $R^2$ 모두에서 일관되게 강한 성능을 보여 두드러진다. 벤치마크에서 가장 강한 연산자인 Kimi~K2.5 제로샷 합성은 탐색 효과성에서 자동 lexicase 및 토너먼트 선택 기준선을 능가한다. 이 결과는 제로샷 LLM 합성이 경쟁력 있는 GP 선택 연산자를 생성하는 실행 가능한 접근법임을 시사한다. 분석에 따르면 생성된 연산자 중 다수가 선택을 안내하기 위해 semantics를 사용하며, 이는 LLM이 작업 설명만으로 비자명한 탐색 휴리스틱을 생성할 수 있음을 시사한다. 또한 공개 LLM 리더보드 순위와 GP 성능 간의 관계를 조사한다. Humanity's Last Exam, SWE-bench Verified와 같이 널리 사용되는 벤치마크는 학습 $R^2$와 강한 상관관계를 보이지만, 홀드아웃 테스트 $R^2$와의 관계는 더 약하고 덜 명확하다.
Beagle 프레임워크 소개 및 튜토리얼
An Introduction and Tutorial for the Beagle Framework
Beagle 프레임워크는 GPU 기반의 유전 프로그래밍(genetic programming) 프레임워크로, NVIDIA GPU를 활용하여 대규모 집단 크기(population size)로 매우 효율적인 유전 프로그래밍 탐색을 가능하게 한다. 본 기술 가이드는 Beagle 프레임워크에 대한 소개와 함께, 심볼릭 회귀(symbolic regression) 문제에 이 프레임워크를 활용하기 위한 상세한 지침을 제공한다.
GAE: 강화 최적화를 통한 과학적 발견을 위한 그래프-증강 진화
GAE: Graph-Augmented Evolution for Scientific Discovery via Reinforcement Optimization
대규모 언어 모델(LLM)이 안내하는 진화적 프로그램 탐색은 자동화된 과학적 발견을 위한 강력한 패러다임으로 부상했습니다. 그러나 현재의 접근 방식은 근본적으로 세 가지 병목 현상에 의해 제약받습니다: 구조적으로 맹목적인 부모 선택, 희소한 전체 프로그램 평가 보상, 그리고 탐색 중 적응하지 못하는 정적 변이 연산자입니다. 우리는 긴밀하게 결합된 3-기둥 아키텍처를 통해 이러한 한계를 해결하는 프레임워크인 GAE(Graph-Augmented Evolution)를 제시합니다. 첫째, 관계형 그래프 신경망(GNN)이 프로그램을 타입화된 계산 그래프로 파싱하여 구조 인식 임베딩을 생성합니다. 둘째, 강화학습(RL)으로 최적화된 메타-컨트롤러가 이러한 임베딩을 활용하여 맹목적인 진화적 샘플링을 방향성 있는 정책으로 대체하고, 보상 이력에 기반하여 최적의 부모와 변이 방향을 동적으로 선택합니다. 셋째, 온라인 GRPO 미세조정 루프가 그룹 정규화된 평가 보상을 사용하여 테스트 시간에 LLM 변이 연산자를 지속적으로 업데이트하며, 모델의 생성 분포를 고적합도 구조적 편집에 직접 정렬합니다. 우리는 GAE를 복잡한 비선형 진동자 시스템에 대한 기호 회귀(symbolic regression)라는 도전적인 과학적 발견 과제에서 평가합니다. 확률적 탐색을 방향성 있는 자기 개선 궤적으로 변환함으로써, GAE는 폐쇄형 물리 방정식을 효율적으로 발견하고, 정적 LLM 기반 기준선과 일관되게 동등하거나 더 나은 성능을 보이며, 분포 외(out-of-distribution) 성능에서 최첨단 결과를 달성합니다.
DeepPySR -- 실세계 과학적 발견을 위한 동적 가지치기, 파레토 선택, 계층적 합성을 갖춘 기호 회귀 프레임워크
DeepPySR -- A Symbolic Regression Framework with Dynamic Pruning, Pareto Selection, and Hierarchical Composition for Real-World Scientific Discovery
기호 회귀(Symbolic Regression, SR)는 데이터로부터 분석적 방정식을 발견하여, SHAP이나 LIME과 같은 불안정한 사후 분석 도구에 의존하는 블랙박스 방법과 달리 직접 해석 가능한 수식을 갖춘 글래스박스 모델을 산출한다. 이러한 투명성은 임상 의학과 사회과학에서 매우 중요하지만, SR은 세 가지 과제에 직면해 있다: 고차원 입력, 파레토 프론트 수식의 원칙적 선택, 그리고 다중공선성 및 클래스 불균형과 같은 데이터 불규칙성이다. 우리는 이러한 문제들을 해결하는 DeepPySR을 소개한다. DeepPySR은 탐색 과정에서 관련 없는 특징을 제거하는 동적 변수 가지치기 스케줄, 정확도와 복잡도 간의 트레이드오프를 제거하는 지수적 파레토 선택 기준, 그리고 계층적 기호 합성을 위한 다층(multi-layer) 아키텍처를 활용한다. 네 가지 Feynman 물리 벤치마크와 일곱 가지 의생명 및 사회과학 데이터셋에서 DeepPySR은 PySR 및 기준 모델 대비 체지방(R²: 0.794 vs. 0.702), 심장 질환(F1: 0.898 vs. 0.787), 학생 성취도(R²: 0.964 vs. 0.948), Raine BMI(R²: 0.525 vs. 0.370)에서 우수한 성능을 보이며, 도메인 위험 인자와 일치하는 해석 가능한 수식을 생성한다.
딕셔너리, 다윈이 아니라: 과학적 방정식 발견에서 집합 수준 선택이 LLM 진화를 능가함
Dictionaries, Not Darwin: Set-Level Selection Beats LLM Evolution in Scientific Equation Discovery
대규모 언어 모델(LLM)은 과학적 발견을 위한 진화 엔진으로 점점 더 많이 활용되고 있다: 후보를 생성하고, 승자를 선택하고, 이를 부모로 피드백하여 반복하는 방식이다. 우리는 이 루프가 과학적 방정식 발견에서 실제로 발견을 축적하는지 감사한다. 이 환경은 유한한 샘플로 인해 구조가 비결정적이고 보간이 용이하다. 동일한 LLM 호출 예산 하에서, 부모 조건부 진화는 새로운 독립 샘플링과 구별되지 않는다: 중앙값 OOD NMSE는 0.045 대 0.049이고, 지시된 다중 부모 교차는 더 나쁘며, 최종 성공은 초기 제안 품질로 예측되고, 다양한 반복(iteration) 방식은 풀린 문제를 추가하지 못한다. 실제로, 루프는 생성하는 것으로 귀결된다: 후보 항(term)들의 딕셔너리. 우리는 이 진단을 구성요소화된 과학적 발견을 위한 단일 세대 방법인 PTB-Search로 전환한다. PTB-Search는 독립적인 LLM 제안을 한 번 샘플링하고, 재사용 가능한 항을 문제별 딕셔너리로 추출하며, 최소제곱 계수를 이용한 훈련 전용 집합 수준 희소 선택을 수행한다. 핵심 원칙은 비결정적 데이터가 신뢰할 수 있는 항별 기여가 아닌 항 집합의 결합 동작을 식별한다는 것이다. 동일한 딕셔너리와 추가 LLM 호출 없이, 집합 수준 선택기는 717개 셀 중 165~169개를 풀지만, 단일 항 축소는 74~78개만 푼다. 공식 239개 문제 LLM-SRBench 분할에서, PTB-Search는 Llama-3.1-8B로 73.2% Acc0.1에, 단일 시드 DeepSeek-V4 앵커로 77.0%에 도달하며, 이는 표준화된 호출 예산의 10분의 1을 사용하여 최고 보고된 기준선(baseline) 49.2%를 능가한다. 프로그램 도메인 스트레스 테스트는 범위가 한정된 경계를 제시한다: 생성 횟수는 여전히 신뢰할 수 없지만, 보존된 외부 상태는 더 어려운 비선형 공간에서 도움이 될 수 있다. 이러한 결과들을 종합하면, LLM은 재료 공급자로 이해하는 것이 가장 적절하며, 발견은 재사용 가능한 구성요소에 대한 외부 집합 수준 선택에 의해 이루어진다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
18 pages, 8 figures, 7 tables