재료 물성 예측을 위한 확산 사전학습용 합성 결정 데이터 생성
Synthetic Crystal Data Generation for Diffusion Pretraining in Material Property Prediction
한국어 초록
확산 기반 사전학습은 모든 사전학습 구조에 대해 에너지·힘·응력과 같은 양자역학적 레이블을 요구하지 않으면서, 그래프 신경망이 재료 물성 예측에 전이할 수 있는 표현을 학습하는 강력한 전략으로 자리 잡았다. 그러나 이 방법은 여전히 중요한 전제에 의존한다. 퍼텐셜 에너지 곡면의 국소 최솟값 부근에 있는 구조가 필요한데, 이러한 구조는 전통적으로 알려진 화합물이나 실제 합성한 화합물에 비용이 큰 밀도 범함수 이론(DFT) 이완을 적용해 얻었다. 이 때문에 사용할 수 있는 사전학습 데이터의 규모와 구조 다양성이 제한되며, 결정 구조 공간의 넓은 영역이 탐색되지 않은 채 남는다. 이 병목을 완화하기 위해 확산 기반 사전학습과 합성 구조 생성을 결합한다. 섭동 후 이완, MatterGen을 통한 생성 샘플링, 원형 구조 열거라는 세 가지 상호 보완적 전략을 하나의 합성 데이터 생성 파이프라인에 통합한다. 구조 이완이 필요하면 생성 구조마다 새로 DFT 이완을 수행하는 대신 기계학습으로 얻은 빠른 원자 간 퍼텐셜을 사용한다. 무작위로 초기화한 Orb-v2 백본으로 좌표 잡음 제거 대조 조건과 연속 시간 분산 보존(VP) 및 sub-VP 확산 목적함수를 비교한다. 데이터 출처 비교에는 MatBench 물성 예측 과제 일곱 가지를 사용하며, 원형 구조 규모 확장 연구에는 여덟 번째 과제인 mp_gap을 포함한다. 모든 합성 데이터 사전학습 조건이 출처 비교에 포함된 과제 일곱 가지 모두에서 무작위 초기화보다 수치상 높은 성능을 보였다. 학습을 400에포크로 고정하고 원형 구조 말뭉치를 2만 개에서 16만 5천 개로 늘리면 대부분의 과제에서 MP-20k 사전학습과 같거나 그 이상의 성능을 보인다. 이 실험에서는 데이터 다양성과 최적화 업데이트 횟수가 함께 증가하므로, 결과는 데이터와 연산량을 동시에 늘린 효과를 반영한다.
원문 초록
Diffusion-based pretraining has emerged as a powerful strategy for learning transferable representations in graph neural networks for materials property prediction without requiring quantum-mechanical labels such as energies, forces, and stresses for every pretraining structure. However, the method retains a critical dependency: it requires structures residing near local minima of a potential energy surface, which have traditionally been obtained through costly DFT relaxations of known or physically synthesized compounds. This reliance constrains both the scale and the structural diversity of available pretraining data, leaving large regions of crystal structure space unexplored. In this work, we connect diffusion-based pretraining with synthetic structure generation to reduce this bottleneck. We introduce a synthetic data generation pipeline combining three complementary strategies: perturb-and-relax, generative sampling via MatterGen, and protostructure enumeration. Where structural relaxation is required, we use fast machine-learned interatomic potentials instead of performing a new DFT relaxation for each generated structure. We further compare a coordinate-denoising control with continuous-time variance-preserving (VP) and sub-VP diffusion objectives using a randomly initialized Orb-v2 backbone. The source comparison covers seven MatBench property-prediction tasks, and an eighth task, \texttt{mp\_gap}, is included in the protostructure scaling study. Every synthetic-pretraining condition numerically outperforms random initialization on all seven source-comparison tasks. Scaling the protostructure corpus from 20k to 165k under a fixed 400-epoch schedule numerically matches or exceeds MP-20k pretraining on most tasks; because this protocol increases both data diversity and optimization updates, the result reflects joint data-and-compute scaling.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22140v2제출 시각 미확인
- arXiv:2611.22140v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.