Rediscovering orbital mechanics with machine learning
원문 초록
We present an approach for using machine learning to automatically discover the governing equations and hidden properties of real physical systems from observations. We train a "graph neural network" to simulate the dynamics of our solar system's Sun, planets, and large moons from 30 years of trajectory data. We then use symbolic regression to discover an analytical expression for the force law implicitly learned by the neural network, which our results showed is equivalent to Newton's law of gravitation. The key assumptions that were required were translational and rotational equivariance, and Newton's second and third laws of motion. Our approach correctly discovered the form of the symbolic force law. Furthermore, our approach did not require any assumptions about the masses of planets and moons or physical constants. They, too, were accurately inferred through our methods. Though, of course, the classical law of gravitation has been known since Isaac Newton, our result serves as a validation that our method can discover unknown laws and hidden properties from observed data. More broadly this work represents a key step toward realizing the potential of machine learning for accelerating scientific discovery.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
AI 에이전트가 과학 방정식을 발견하는 방법: 하이드로토프 재발견부터 새로운 수면파 진폭까지
How AI Agents Discover Scientific Equations: From Hydrotope Rediscovery to New Water-Wave Amplitudes
본 연구에서는 비선형 표면파 산란의 서로 다른 다항식 조각들을 하나의 전역적 표현으로 결합하는 최근 발견된 기하학적 공식인 하이드로토프(hydrotope)를 통제된 사례 연구로 활용하여, AI 에이전트(agent)가 과학 공식을 발견하고 검증하는 방식을 연구합니다. 이 문제는 겉보기와 달리 매우 까다롭습니다. 개별 주파수 영역 내에서는 단순한 공식이 성립할 수 있지만, 전역적인 결과를 얻으려면 이들의 경계를 식별하고 잠재적으로 활성화될 수 있는 기하급수적으로 많은 항들을 결합해야 하기 때문입니다. 우리는 인간-에이전트 협업을 통해 이 공식이 원래 어떻게 발견되었는지를 재구성하고, 힌트가 없는 조건과 두 가지 형태의 인간 안내(부정확한 사전 지식을 나타내는 거짓 힌트 및 도메인 지식 기반 통찰을 나타내는 참 힌트) 하에서 18회의 단일 프롬프트(prompt) 재발견 실행을 분석합니다. 단 4회만이 모든 운동학적 챔버(kinematic chamber, 즉 단일 다항식 형태가 적용되는 영역)에 걸쳐 공식을 복원하는 데 성공했으며, 대부분의 실패한 실행은 올바른 챔버 다항식을 찾기는 했으나 이를 결합하지 못하거나 전체 영역을 검증하는 데 실패했습니다. 기존의 기호 회귀(symbolic regression), LLM 지원 기호 회귀, 표준 머신러닝 회귀 모델 또한 우리의 실험에서 전역 공식을 복원하지 못했습니다. 이러한 실패 양상을 바탕으로, 우리는 총괄 책임 에이전트가 두 연구 에이전트에게 상호 보완적인 해석적 및 수치적 작업을 할당하고 그 결과를 독립적으로 평가하는 'PI+2인 학생(PI+two-student)' 워크플로를 테스트합니다. PI+2인 학생 팀은 완전한 하이드로토프 공식을 성공적으로 재발견했으며, 더 어려운 세 개의 음의 파수(three negative wavenumber) 문제에 동일한 워크플로를 적용하여 6점 진폭 $A_6$에 대한 독립적으로 검증된 새로운 해석적 표현식을 발견했습니다.
대규모 언어 모델 기반 에이전트 시스템을 활용한 생물학적 시스템의 상미분방정식 자동 발견
Automatic Ordinary Differential Equations Discovery For Biological Systems Using Large Language Model Powered Agentic System
자동 과학 발견은 오랫동안 계산 학자들의 목표였다 — 스스로 자연의 비밀을 밝혀내는 기계, 즉 계산 시스템을 데이터 적합 도구를 넘어 우주의 메커니즘적 모델 생성과 정제로 나아가게 하는 것이다. 최근 기호 회귀(symbolic regression, SR) 및 대규모 언어 모델(LLM) 기반 에이전트의 진전은 이러한 시스템이 데이터로부터 방정식을 복구하고, 도메인 사전 지식을 통합하며, 연구 워크플로의 일부를 자동화할 수 있음을 시사한다. 그러나 기존 접근법 대부분은 좁은 방정식 발견 벤치마크에 집중하거나 광범위한 end-to-end 자동화 파이프라인에 초점을 맞추며, 생물학적 시스템은 비교적 덜 탐구되어 있다. 본 연구에서는 MEDA 시스템을 소개한다. 이는 생물학적 및 생물학적으로 영감받은 동역학 시스템의 상미분방정식(ODE) 모델 발견을 위한 LLM 및 SR 기반 에이전트 프레임워크이다. MEDA는 배경 지식을 검색하고, 허용 가능한 변수를 정의하며, 메커니즘적 제약을 생성하고, 후보 상미분방정식을 제안하며, 이를 적합하고 평가한다. 실험 데이터 유무와 관계없이 정규 모델 검색, 추론 기반의 미관측 변형 외삽, 그리고 개방형 발견 과제에서 이를 평가한다. 이러한 설정 전반에서 MEDA는 올바른 상태 변수를 복구했으며, 검색 및 외삽 과제에서 강력한 구조 복원을 달성했고, 생물학적으로 타당한 발견 지향 모델을 생성했다. 절제 및 강건성 분석에 따르면, 지식 유도 정식화와 메커니즘적 제약은 핵심 구성 요소이며, 수치 적합만으로는 궤적과 호환되지만 생물학적으로 부정확한 방정식을 유지할 수 있다.
GAE: 강화 최적화를 통한 과학적 발견을 위한 그래프-증강 진화
GAE: Graph-Augmented Evolution for Scientific Discovery via Reinforcement Optimization
대규모 언어 모델(LLM)이 안내하는 진화적 프로그램 탐색은 자동화된 과학적 발견을 위한 강력한 패러다임으로 부상했습니다. 그러나 현재의 접근 방식은 근본적으로 세 가지 병목 현상에 의해 제약받습니다: 구조적으로 맹목적인 부모 선택, 희소한 전체 프로그램 평가 보상, 그리고 탐색 중 적응하지 못하는 정적 변이 연산자입니다. 우리는 긴밀하게 결합된 3-기둥 아키텍처를 통해 이러한 한계를 해결하는 프레임워크인 GAE(Graph-Augmented Evolution)를 제시합니다. 첫째, 관계형 그래프 신경망(GNN)이 프로그램을 타입화된 계산 그래프로 파싱하여 구조 인식 임베딩을 생성합니다. 둘째, 강화학습(RL)으로 최적화된 메타-컨트롤러가 이러한 임베딩을 활용하여 맹목적인 진화적 샘플링을 방향성 있는 정책으로 대체하고, 보상 이력에 기반하여 최적의 부모와 변이 방향을 동적으로 선택합니다. 셋째, 온라인 GRPO 미세조정 루프가 그룹 정규화된 평가 보상을 사용하여 테스트 시간에 LLM 변이 연산자를 지속적으로 업데이트하며, 모델의 생성 분포를 고적합도 구조적 편집에 직접 정렬합니다. 우리는 GAE를 복잡한 비선형 진동자 시스템에 대한 기호 회귀(symbolic regression)라는 도전적인 과학적 발견 과제에서 평가합니다. 확률적 탐색을 방향성 있는 자기 개선 궤적으로 변환함으로써, GAE는 폐쇄형 물리 방정식을 효율적으로 발견하고, 정적 LLM 기반 기준선과 일관되게 동등하거나 더 나은 성능을 보이며, 분포 외(out-of-distribution) 성능에서 최첨단 결과를 달성합니다.
딕셔너리, 다윈이 아니라: 과학적 방정식 발견에서 집합 수준 선택이 LLM 진화를 능가함
Dictionaries, Not Darwin: Set-Level Selection Beats LLM Evolution in Scientific Equation Discovery
대규모 언어 모델(LLM)은 과학적 발견을 위한 진화 엔진으로 점점 더 많이 활용되고 있다: 후보를 생성하고, 승자를 선택하고, 이를 부모로 피드백하여 반복하는 방식이다. 우리는 이 루프가 과학적 방정식 발견에서 실제로 발견을 축적하는지 감사한다. 이 환경은 유한한 샘플로 인해 구조가 비결정적이고 보간이 용이하다. 동일한 LLM 호출 예산 하에서, 부모 조건부 진화는 새로운 독립 샘플링과 구별되지 않는다: 중앙값 OOD NMSE는 0.045 대 0.049이고, 지시된 다중 부모 교차는 더 나쁘며, 최종 성공은 초기 제안 품질로 예측되고, 다양한 반복(iteration) 방식은 풀린 문제를 추가하지 못한다. 실제로, 루프는 생성하는 것으로 귀결된다: 후보 항(term)들의 딕셔너리. 우리는 이 진단을 구성요소화된 과학적 발견을 위한 단일 세대 방법인 PTB-Search로 전환한다. PTB-Search는 독립적인 LLM 제안을 한 번 샘플링하고, 재사용 가능한 항을 문제별 딕셔너리로 추출하며, 최소제곱 계수를 이용한 훈련 전용 집합 수준 희소 선택을 수행한다. 핵심 원칙은 비결정적 데이터가 신뢰할 수 있는 항별 기여가 아닌 항 집합의 결합 동작을 식별한다는 것이다. 동일한 딕셔너리와 추가 LLM 호출 없이, 집합 수준 선택기는 717개 셀 중 165~169개를 풀지만, 단일 항 축소는 74~78개만 푼다. 공식 239개 문제 LLM-SRBench 분할에서, PTB-Search는 Llama-3.1-8B로 73.2% Acc0.1에, 단일 시드 DeepSeek-V4 앵커로 77.0%에 도달하며, 이는 표준화된 호출 예산의 10분의 1을 사용하여 최고 보고된 기준선(baseline) 49.2%를 능가한다. 프로그램 도메인 스트레스 테스트는 범위가 한정된 경계를 제시한다: 생성 횟수는 여전히 신뢰할 수 없지만, 보존된 외부 상태는 더 어려운 비선형 공간에서 도움이 될 수 있다. 이러한 결과들을 종합하면, LLM은 재료 공급자로 이해하는 것이 가장 적절하며, 발견은 재사용 가능한 구성요소에 대한 외부 집합 수준 선택에 의해 이루어진다.
언어 모델이 탐색을 제어하여 기호 방정식 발견을 안내한다
Language models guide symbolic equation discovery by controlling search
과학적 방정식 발견은 광범위한 도메인 사전 지식과 엄격한 수치 검증을 결합해야 한다. 기호 회귀(symbolic regression)는 수치적 근거를 제공하지만 조합론적 탐색 공간에 직면하는 반면, 많은 언어 모델 시스템은 모델이 수식을 직접 제안하거나 선택하도록 요청한다. 우리는 다른 역할 분담 방식을 검토한다. 우리는 언어 모델이 방정식 작성자, 후보 결정자, 또는 탐색 제어기 역할을 수행하는 역할 명세를, 종단간(end-to-end) 언어 모델 및 순수 수치 기준선과 함께 비교한다. 여기서 제안하는 제어기 설정인 LLM-PySR에서, 언어 모델은 변수, 연산자, 변환 및 탐색 깊이를 지정하고, 기호 회귀는 표현식을 열거하고 적합시키며, 결정론적 지표가 보존 여부를 결정한다. 74개의 AI-Feynman 방정식과 7개의 복잡한 수식 복원 태스크에 걸쳐, 탐색 제어는 정확도, 복잡도, 안정성 및 비용의 균형에서 가장 강한 성과를 달성했다. 독립적인 배터리 데이터셋에서, LLM-PySR은 초기 전압 곡선 변위와 사이클 수명 사이의 간결한 구간선형(piecewise-linear) 관계를 식별했다. 이 결과는 언어 모델이 어떤 방정식이 살아남을지 결정하는 것보다 가설 탐험을 형성해야 함을 시사한다.
부호 그래프 사전학습 및 프롬프트 학습
Signed Graph Pre-Training and Prompt Learning
부호 그래프(signed graph)는 엣지가 양수이거나 음수일 수 있으며 방향성을 가질 수도 있는 신뢰-불신 네트워크, 금융 상관관계 시스템, 생물학적 상호작용 그래프 및 기타 여러 도메인에서 발생합니다. 부호 그래프 신경망이 특정 태스크에 특화된 학습(training)을 향상시켰지만, 부호 그래프에서의 그래프 전이학습(transfer learning)은 여전히 미진한 상태입니다. 본 논문에서는 부호 그래프를 위한 선구적인 위상학 기반 그래프 사전학습(pre-training) 및 프롬프트(prompt) 학습 프레임워크인 TopoSIGN을 소개합니다. TopoSIGN은 자기 부호 라플라시안(magnetic signed Laplacian)을 기반으로 구축된 구조적 인코더와 Dowker 복합체 지속성 이미지(Dowker-complex persistence images)를 통해 부호 위상을 요약하는 새로운 지속성 호몰로지(persistent-homology) 브랜치를 결합합니다. 융합된 임베딩(embedding)은 이후 프롬프트 학습 함수로 전달됩니다. 합성 및 실제 데이터셋(dataset)에 대한 실험 결과는 부호 그래프에서 유용한 구조적 정보를 추출하는 TopoSIGN의 효능뿐만 아니라, 제안된 일반 프레임워크의 적응성과 유연성을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.