arXiv:2609.00070v1 cond-mat.mtrl-sci

AutoXRD: 분말 회절 분석을 위한 자율 LLM 에이전트 및 종합 평가

AutoXRD: Autonomous LLM Agents and Comprehensive Evaluation for Powder Diffraction Analysis

Yuetong Wu, Maojun Sun

제출 2026-08-30

한국어 초록

분말 X선 회절(XRD)은 재료 특성화의 중심이지만, 신뢰할 수 있는 종단 간 자동화는 여전히 어렵다. XRD 에이전트는 회절 증거를 해석하고, 정밀화(refinement) 소프트웨어를 조작하며, 결합된 매개변수를 방어 가능한 순서로 관리하고, 수치적 개선과 물리적 타당성을 구분해야 한다. 본 논문에서는 분말 XRD 분석을 단계적 정밀화로 구조화하고, 행동을 관측된 증거에 그라운딩하며, 결과를 수락하기 전에 결정론적 결정학·물리적 검사를 적용하는 자율 대규모 언어 모델(LLM) 에이전트 프레임워크 AutoXRD를 제안한다. 또한 상보적인 두 트랙을 갖춘 XRDBench를 소개한다. XRDBench-QA는 과학적 추론과 의사결정을 분리하는 100개의 제한된 진단 과제를 포함하고, XRDBench-E2E는 파일 검사, 결정학 소프트웨어 실행, 반복 정밀화, 증거 보존, 보고를 요구하는 완전한 분석으로 이러한 역량을 통합할 수 있는지 검증하는 34개의 실행 가능한 워크플로를 포함한다. 최근 LLM 10개를 1,340회의 모델–과제 실행에 걸쳐 평가하였다. 모델들의 평균은 100점 만점에 57.8에 불과하며, XRDBench-QA 61.9에서 XRDBench-E2E 53.7로 낮아진다. 정밀화 이력 평가와 결과 수락에서는 가장 잘 수행하지만, 정밀화 행동 선택, 상(phase) 정량화, 인덱싱, Rietveld 정밀화에서는 여전히 상당히 약하다. GPT-5.6 Sol은 전체 최고 점수 81.1을, GPT-5.6 Terra는 XRDBench-E2E 최고 점 추정 81.0을, GPT-5.6 Luna는 최고의 점수–비용 트레이드오프를 달성한다. Ablation 결과 AutoXRD의 여섯 구성 요소가 모두 일관되게 성능을 향상시켜 프레임워크 설계를 뒷받침한다. 마지막으로 실행 추적 분석은 결합 매개변수 제어, 정량적 추론, 증거 보존, 워크플로 종료에서 반복되는 실패를 드러내며, 더 강한 과학적 제약, 불확실성 인식 의사결정, 더 효율적인 계획의 필요성을 시사한다.

원문 초록

Powder X-ray diffraction (XRD) is central to materials characterization, yet reliable end-to-end automation remains challenging. An XRD agent must interpret diffraction evidence, operate refinement software, manage coupled parameters in a defensible order, and distinguish numerical improvement from physical validity. In this paper, we propose AutoXRD, an autonomous large language model (LLM) agent framework that organizes powder-XRD analysis as stepwise refinement, grounds actions in observed evidence, and applies deterministic crystallographic and physical checks before accepting results. We further introduce XRDBench with two complementary tracks. XRDBench-QA contains 100 bounded diagnostic tasks that isolate scientific reasoning and decision-making, whereas XRDBench-E2E contains 34 executable workflows that test whether agents can compose these capabilities into complete analyses requiring file inspection, crystallographic-software execution, iterative refinement, evidence preservation, and reporting. We evaluate ten recent LLMs across 1,340 model--task runs. Models average only 57.8 out of 100, falling from 61.9 on XRDBench-QA to 53.7 on XRDBench-E2E. They perform best on refinement-history assessment and result acceptance, but remain substantially weaker on refinement-action selection, phase quantification, indexing, and Rietveld refinement. GPT-5.6 Sol achieves the highest overall score of 81.1, GPT-5.6 Terra the highest XRDBench-E2E point estimate of 81.0, and GPT-5.6 Luna the best score--cost trade-off. Ablations show that all six AutoXRD components consistently improve performance, supporting the framework design. Finally, execution-trace analysis reveals recurring failures in coupled-parameter control, quantitative reasoning, evidence preservation, and workflow termination, motivating stronger scientific constraints, uncertainty-aware decisions, and more efficient planning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.00070v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.