그래프 사전 지식 없이 트랜스포머가 분자 구조를 발견한다
Transformers Discover Molecular Structure Without Graph Priors
한국어 초록
계산 시뮬레이션은 과학적 발견에서 핵심적인 역할을 하며, 기계 학습(ML)은 전통적인 물리 기반 모델링에 대한 유망한 대안으로 부상했다. 그러나 과학적 모델링에는 물리적으로 의미 있는 예측이 필요하므로, 데이터 기반 방법에 대해 근본적인 질문이 제기된다. 즉, 물리적 귀납적 바이어스—물리 세계 구조에 대한 사전 가정—가 데이터만으로 학습했을 때 어느 정도까지 창발할 수 있는가? 예를 들어 원자 수준(atomistic) 모델링에서 ML 아키텍처는 물리적 예측에 이러한 사전 지식이 필요하다는 가정 아래, 기하학적 국소성(geometric locality)과 그래프 구조 같은 강한 물리적 귀납적 바이어스를 역사적으로 내장해 왔다. 우리는 도메인 특화 사전 지식—수동으로 정의한 원자쌍 상호작용을 포함해—없이 모델을 학습함으로써, 물리적 패턴이 데이터에서 직접 어떻게 발견될 수 있는지에 대한 이해를 체계적으로 구축한다. 모델이 고전적 정전기학(electrostatics)을 반영하는 학습된 원자간 상호작용 강도, 전통적 물리 모델과 일치하는 상호작용 컷오프(cutoff) 등 핵심 물리 구조를 자율적으로 복원함을 확인한다. 또한 데이터와 연산량 증가에 따른 예측 가능한 신경 스케일링 법칙(scaling law) 거동을 보이며, 일부 지표에서는 물리 정보를 반영한(physics-informed) 아키텍처와 견줄 만한 정확도를 달성한다. 우리 결과는 설계된 귀납적 바이어스와 학습 가능한 물리 구조 사이의 경계를 명확히 하며, 범용 아키텍처가 과학적 모델링의 원칙적 기준선(baseline)이 될 수 있고, 명시적 사전 지식은 경험적으로 필요할 때만 도입하면 됨을 시사한다.
원문 초록
Computational simulations play a central role in scientific discovery, and machine learning (ML) has emerged as a promising alternative to traditional physics-based modeling. However, scientific modeling requires physically meaningful predictions, raising a fundamental question for data-driven methods: to what extent can physical inductive biases - that is, prior assumptions about the structure of the physical world - emerge by learning from data alone? In atomistic modeling, for example, ML architectures have historically embedded strong physical inductive biases - such as geometric locality and graph structure - based on the assumption that these priors are necessary for physical predictions. We systematically develop an understanding of how physical patterns can alternatively be discovered directly from data by training a model without domain-specific priors, including any manually defined atomistic pairwise interactions. We find that the model autonomously recovers key physical structure, such as learned interatomic interaction strengths that mirror classical electrostatics and interaction cutoffs consistent with traditional physical models. We further demonstrate predictable neural scaling law behavior with increased data and compute, and find accuracy on certain metrics competitive with physics-informed architectures. Our results clarify the boundary between engineered inductive bias and learnable physical structure, suggesting that general-purpose architectures can serve as principled baselines for scientific modeling, with explicit priors introduced only when empirically necessary.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2510.02259v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.