arXiv:2305.02251

Automated Scientific Discovery: From Equation Discovery to Autonomous Discovery Systems

Stefan Kramer, Mattia Cerrato, Sašo Džeroski, Ross King

제출 2023-05-03

원문 초록

The paper surveys automated scientific discovery, from equation discovery and symbolic regression to autonomous discovery systems and agents. It discusses the individual approaches from a "big picture" perspective and in context, but also discusses open issues and recent topics like the various roles of deep neural networks in this area, aiding in the discovery of human-interpretable knowledge. Further, we will present closed-loop scientific discovery systems, starting with the pioneering work on the Adam system up to current efforts in fields from material science to astronomy. Finally, we will elaborate on autonomy from a machine learning perspective, but also in analogy to the autonomy levels in autonomous driving. The maximal level, level five, is defined to require no human intervention at all in the production of scientific knowledge. Achieving this is one step towards solving the Nobel Turing Grand Challenge to develop AI Scientists: AI systems capable of making Nobel-quality scientific discoveries highly autonomously at a level comparable, and possibly superior, to the best human scientists by 2050.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.04156v1cs.AI공통 태그 Symbolic Regression, scientific discovery, Equation Discovery

언어 모델이 탐색을 제어하여 기호 방정식 발견을 안내한다

Language models guide symbolic equation discovery by controlling search

과학적 방정식 발견은 광범위한 도메인 사전 지식과 엄격한 수치 검증을 결합해야 한다. 기호 회귀(symbolic regression)는 수치적 근거를 제공하지만 조합론적 탐색 공간에 직면하는 반면, 많은 언어 모델 시스템은 모델이 수식을 직접 제안하거나 선택하도록 요청한다. 우리는 다른 역할 분담 방식을 검토한다. 우리는 언어 모델이 방정식 작성자, 후보 결정자, 또는 탐색 제어기 역할을 수행하는 역할 명세를, 종단간(end-to-end) 언어 모델 및 순수 수치 기준선과 함께 비교한다. 여기서 제안하는 제어기 설정인 LLM-PySR에서, 언어 모델은 변수, 연산자, 변환 및 탐색 깊이를 지정하고, 기호 회귀는 표현식을 열거하고 적합시키며, 결정론적 지표가 보존 여부를 결정한다. 74개의 AI-Feynman 방정식과 7개의 복잡한 수식 복원 태스크에 걸쳐, 탐색 제어는 정확도, 복잡도, 안정성 및 비용의 균형에서 가장 강한 성과를 달성했다. 독립적인 배터리 데이터셋에서, LLM-PySR은 초기 전압 곡선 변위와 사이클 수명 사이의 간결한 구간선형(piecewise-linear) 관계를 식별했다. 이 결과는 언어 모델이 어떤 방정식이 살아남을지 결정하는 것보다 가설 탐험을 형성해야 함을 시사한다.

arXiv:2610.00435v1hep-th공통 태그 Symbolic Regression, scientific discovery

AI 에이전트가 과학 방정식을 발견하는 방법: 하이드로토프 재발견부터 새로운 수면파 진폭까지

How AI Agents Discover Scientific Equations: From Hydrotope Rediscovery to New Water-Wave Amplitudes

본 연구에서는 비선형 표면파 산란의 서로 다른 다항식 조각들을 하나의 전역적 표현으로 결합하는 최근 발견된 기하학적 공식인 하이드로토프(hydrotope)를 통제된 사례 연구로 활용하여, AI 에이전트(agent)가 과학 공식을 발견하고 검증하는 방식을 연구합니다. 이 문제는 겉보기와 달리 매우 까다롭습니다. 개별 주파수 영역 내에서는 단순한 공식이 성립할 수 있지만, 전역적인 결과를 얻으려면 이들의 경계를 식별하고 잠재적으로 활성화될 수 있는 기하급수적으로 많은 항들을 결합해야 하기 때문입니다. 우리는 인간-에이전트 협업을 통해 이 공식이 원래 어떻게 발견되었는지를 재구성하고, 힌트가 없는 조건과 두 가지 형태의 인간 안내(부정확한 사전 지식을 나타내는 거짓 힌트 및 도메인 지식 기반 통찰을 나타내는 참 힌트) 하에서 18회의 단일 프롬프트(prompt) 재발견 실행을 분석합니다. 단 4회만이 모든 운동학적 챔버(kinematic chamber, 즉 단일 다항식 형태가 적용되는 영역)에 걸쳐 공식을 복원하는 데 성공했으며, 대부분의 실패한 실행은 올바른 챔버 다항식을 찾기는 했으나 이를 결합하지 못하거나 전체 영역을 검증하는 데 실패했습니다. 기존의 기호 회귀(symbolic regression), LLM 지원 기호 회귀, 표준 머신러닝 회귀 모델 또한 우리의 실험에서 전역 공식을 복원하지 못했습니다. 이러한 실패 양상을 바탕으로, 우리는 총괄 책임 에이전트가 두 연구 에이전트에게 상호 보완적인 해석적 및 수치적 작업을 할당하고 그 결과를 독립적으로 평가하는 'PI+2인 학생(PI+two-student)' 워크플로를 테스트합니다. PI+2인 학생 팀은 완전한 하이드로토프 공식을 성공적으로 재발견했으며, 더 어려운 세 개의 음의 파수(three negative wavenumber) 문제에 동일한 워크플로를 적용하여 6점 진폭 $A_6$에 대한 독립적으로 검증된 새로운 해석적 표현식을 발견했습니다.

arXiv:2607.13608v1cs.AI공통 태그 Symbolic Regression, scientific discovery

대규모 언어 모델 기반 에이전트 시스템을 활용한 생물학적 시스템의 상미분방정식 자동 발견

Automatic Ordinary Differential Equations Discovery For Biological Systems Using Large Language Model Powered Agentic System

자동 과학 발견은 오랫동안 계산 학자들의 목표였다 — 스스로 자연의 비밀을 밝혀내는 기계, 즉 계산 시스템을 데이터 적합 도구를 넘어 우주의 메커니즘적 모델 생성과 정제로 나아가게 하는 것이다. 최근 기호 회귀(symbolic regression, SR) 및 대규모 언어 모델(LLM) 기반 에이전트의 진전은 이러한 시스템이 데이터로부터 방정식을 복구하고, 도메인 사전 지식을 통합하며, 연구 워크플로의 일부를 자동화할 수 있음을 시사한다. 그러나 기존 접근법 대부분은 좁은 방정식 발견 벤치마크에 집중하거나 광범위한 end-to-end 자동화 파이프라인에 초점을 맞추며, 생물학적 시스템은 비교적 덜 탐구되어 있다. 본 연구에서는 MEDA 시스템을 소개한다. 이는 생물학적 및 생물학적으로 영감받은 동역학 시스템의 상미분방정식(ODE) 모델 발견을 위한 LLM 및 SR 기반 에이전트 프레임워크이다. MEDA는 배경 지식을 검색하고, 허용 가능한 변수를 정의하며, 메커니즘적 제약을 생성하고, 후보 상미분방정식을 제안하며, 이를 적합하고 평가한다. 실험 데이터 유무와 관계없이 정규 모델 검색, 추론 기반의 미관측 변형 외삽, 그리고 개방형 발견 과제에서 이를 평가한다. 이러한 설정 전반에서 MEDA는 올바른 상태 변수를 복구했으며, 검색 및 외삽 과제에서 강력한 구조 복원을 달성했고, 생물학적으로 타당한 발견 지향 모델을 생성했다. 절제 및 강건성 분석에 따르면, 지식 유도 정식화와 메커니즘적 제약은 핵심 구성 요소이며, 수치 적합만으로는 궤적과 호환되지만 생물학적으로 부정확한 방정식을 유지할 수 있다.

arXiv:2607.04108v1cs.LG공통 태그 Symbolic Regression, scientific discovery

딕셔너리, 다윈이 아니라: 과학적 방정식 발견에서 집합 수준 선택이 LLM 진화를 능가함

Dictionaries, Not Darwin: Set-Level Selection Beats LLM Evolution in Scientific Equation Discovery

대규모 언어 모델(LLM)은 과학적 발견을 위한 진화 엔진으로 점점 더 많이 활용되고 있다: 후보를 생성하고, 승자를 선택하고, 이를 부모로 피드백하여 반복하는 방식이다. 우리는 이 루프가 과학적 방정식 발견에서 실제로 발견을 축적하는지 감사한다. 이 환경은 유한한 샘플로 인해 구조가 비결정적이고 보간이 용이하다. 동일한 LLM 호출 예산 하에서, 부모 조건부 진화는 새로운 독립 샘플링과 구별되지 않는다: 중앙값 OOD NMSE는 0.045 대 0.049이고, 지시된 다중 부모 교차는 더 나쁘며, 최종 성공은 초기 제안 품질로 예측되고, 다양한 반복(iteration) 방식은 풀린 문제를 추가하지 못한다. 실제로, 루프는 생성하는 것으로 귀결된다: 후보 항(term)들의 딕셔너리. 우리는 이 진단을 구성요소화된 과학적 발견을 위한 단일 세대 방법인 PTB-Search로 전환한다. PTB-Search는 독립적인 LLM 제안을 한 번 샘플링하고, 재사용 가능한 항을 문제별 딕셔너리로 추출하며, 최소제곱 계수를 이용한 훈련 전용 집합 수준 희소 선택을 수행한다. 핵심 원칙은 비결정적 데이터가 신뢰할 수 있는 항별 기여가 아닌 항 집합의 결합 동작을 식별한다는 것이다. 동일한 딕셔너리와 추가 LLM 호출 없이, 집합 수준 선택기는 717개 셀 중 165~169개를 풀지만, 단일 항 축소는 74~78개만 푼다. 공식 239개 문제 LLM-SRBench 분할에서, PTB-Search는 Llama-3.1-8B로 73.2% Acc0.1에, 단일 시드 DeepSeek-V4 앵커로 77.0%에 도달하며, 이는 표준화된 호출 예산의 10분의 1을 사용하여 최고 보고된 기준선(baseline) 49.2%를 능가한다. 프로그램 도메인 스트레스 테스트는 범위가 한정된 경계를 제시한다: 생성 횟수는 여전히 신뢰할 수 없지만, 보존된 외부 상태는 더 어려운 비선형 공간에서 도움이 될 수 있다. 이러한 결과들을 종합하면, LLM은 재료 공급자로 이해하는 것이 가장 적절하며, 발견은 재사용 가능한 구성요소에 대한 외부 집합 수준 선택에 의해 이루어진다.

arXiv:2607.14203v2cs.GR공통 태그 Autonomous Driving

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.