대규모 언어 모델(LLM)이 AI 기반 재료 동료 과학자(Co-Scientist)의 추론 구성 요소로 점점 더 많이 활용되고 있지만, 이로 인한 검증 파이프라인의 신뢰성은 여전히 불분명합니다. 금속-유기 골격체(MOF)는 구조가 서로 다른 식별자로 나타날 수 있고, 합성 결과가 실험 조건에 크게 의존하며, 증거가 이종의 출처에 분산되어 있고, 일부 가설은 문헌뿐만 아니라 계산을 필요로 하기 때문에 특히 까다로운 환경을 제공합니다. 본 논문에서는 구조적 그라운딩(structural grounding), 합성 조건 검증, 증거 충분성 검증, 머신러닝 인터애토믹 포텐셜(MLIP) 기반 계산 검증을 포괄하는 네 가지 태스크 계열로 구성된 진단 벤치마크를 소개합니다. 지식 접근, 증거 획득 및 추론에서의 실패를 국소화하기 위해 T-MOF-1-3은 오픈북이 아닌 폐쇄형(closed-book), 검색 지원(retrieval-enabled), 오라클 증거(oracle-evidence) 설정에서 평가되며, T-MOF-4는 계산 검증을 별도로 평가합니다. 이렇게 진단된 실패 모드를 기반으로, 최종 판정을 내리기 전에 구조, 문헌, 증거 충분성 및 계산 병목 현상을 해결하는 실패 인식 에이전틱 하네스(agentic harness)인 MOF-Verify를 개발했습니다. 여러 백본 LLM에 걸쳐 MOF-Verify는 직접 추론(inference) 및 검색 기반 베이스라인 대비 가설 검증 성능을 대폭 향상시킵니다. 벤치마크 데이터셋은 https://github.com/IMMS-Ewha/MOF-Verify-Benchmark 에 공개되어 있습니다.
과학 에이전트(scientific agents)는 주로 과제 완료 여부나 알려진 결과 재현 여부로 평가되지만, 본 연구는 반복된 개방형(open-ended) 캠페인 간 변이를 조사한다. 동일한 모델-하니스(model-harness) 구성으로 각각 독립 초기화된 16개 세션에 12,499개 금속-유기 골격(metal-organic frameworks)의 고정(frozen) 데이터베이스, 메탄 저장(methane-storage) 목표, 고정(pinned) 프로토콜, 1주 예산이 주어졌다. 전략은 100~5,000개를 스크리닝한 구조 범위를 아우르는 네 가지 접근으로 갈라졌고, 여덟 세션은 2,253개의 가설(hypothetical) 구조를 생성했다. 그럼에도 에이전트들은 약 200 cm^3/cm^3 부근의 동일한 재료 프론티어(materials frontier)를 회복했으며, 데이터베이스 다공(porous) 영역에 대한 독립 계산은 최상위 9개 구조가 모두 그들의 보고에 포함됨을 확인했다. 절반의 에이전트에 강제 검증(enforced checks)을 적용하면 신규 실행(fresh-run) 재현이 8개 중 1개에서 8개 중 8개로 늘었으나 결론 타당성(conclusion validity)은 눈에 띄게 개선되지 않았다. 16개 중 15개 에이전트가 동일한 감사 제외(audit-excluded) 항목, 즉 누락된 음이온(anion)이 인공적인 기공 부피(pore volume)를 만든 불완전 구조를 선택했기 때문이다. 따라서 복제(replicated) 에이전트는 견고한(robust) 결론과 공유 입력(shared inputs)에서 비롯된 공통 모드(common-mode) 오류를 함께 드러낸다.
대규모 금속-유기 골격(metal-organic framework, MOF) 데이터베이스는 결정학 정보 파일(crystallographic information file, CIF)을 통해 시뮬레이션, 스크리닝, 머신러닝을 지원한다. 이러한 입력의 미묘한 화학적·구조적 오류는 하류 결과를 손상시키고 수동 검사를 방해할 수 있다. 계산 화학에서의 대규모 언어 모델(LLM) 발전은 예측적 스크리닝을 넘어 증거 기반 설명이 동반된 세분화 진단으로 나아갈 수 있는 경로를 제공한다. 그러나 두 가지 과제가 남아 있다: (i) 제한된 세분화 귀속—MOF 특화 검증기와 머신러닝 모델은 탐지를 확장하지만, 증거 기반 설명보다는 고정된 검사, 준비도 점수, 또는 거친 라벨만을 제공한다; (ii) 신뢰할 수 없는 CIF 추론—화학적 증거가 원자 위치 기록 전반에 암묵적으로 분산되어 있고 기하, 연결성, 점유, 전하 계산이 필요하기 때문에 LLM을 직접 감사에 사용하는 것은 비용이 크고 신뢰할 수 없다. 두 문제 모두 화학적 증거와 언어 모델 설명 사이의 약한 결합에서 비롯된다. 우리는 MOF-Sleuth를 제안한다. 이는 강화학습 기반 CIF 감사 에이전트로, 결정론적 Forensic Lab과 Sleuth 추론 엔진이라는 두 모듈로 구성된다. Lab은 조성, 기하, 연결성, 점유, 배위, 전하 증거를 도출하고, Sleuth는 이 증거를 사용해 증거 기반 설명, 오류 유형, 이진 판정을 생성한다. 보상 기반 강화학습(RL)은 도구 측정값을 화학적 설명 수준의 지도 신호로 전환하여, 최종 답뿐 아니라 인용된 화학적 증거와 증거가 뒷받침하는 진단에도 보상을 부여한다. 또한 Chemically Grounded Diagnosis(Chem-GD)를 도입한다. 이는 올바른 진단이 사실적이고 관련 있는 CIF 유래 증거로 설명되는지 평가하는 지표이다. 네 개의 벤치마크에서 MOF-Sleuth는 LLM 기반 접근법과 MOF 특화 머신러닝 방법 가운데 최첨단 성능을 달성하며, 탐지, 귀속, 그라운딩된 설명 품질에서의 향상을 보여준다.
금속-유기 골격체(MOF)의 역설계는 조합론적으로 광대한 공간을 탐색해야 하며, 특성 레이블을 획득하는 데 비용이 많이 들고 대부분의 머신러닝 모델은 특정 구조가 성능을 발휘하는 이유를 거의 설명하지 못한다. 우리는 LLM4MOF를 소개한다. 이는 언어 모델 에이전트가 화학적 추론을 수행하고, 후보 MOF를 구성하며, 시뮬레이션에서 테스트하고, 10회의 자율적 반복을 통해 가설을 정제하는 폐루프(closed-loop) 프레임워크이다. 하나의 에이전트는 금속 노드, 링커, 기공 기하학, 기능성 화학에 대한 해석 가능한 설계 가설을 제안하고, 다른 에이전트는 이를 후보 MOF를 선택하는 제약 조건으로 변환한다. 각 후보 MOF는 금속 노드, 유기 링커, 그리고 대응하는 위상구조(topology)로 구성된다. 각 가설은 서로 다른 제약 조건의 부분집합을 적용하는 네 가지 진단 빔(diagnostic beam)을 통해 검증되므로, 이를 비교함으로써 기하학, 화학, 또는 금속 선택 중 어느 것이 성능을 주도하는지 파악할 수 있다. 데이터베이스의 전체 특성 분포를 알지 못하는 상황에서도, LLM4MOF는 400회의 특성 평가 내에서 여섯 가지 흡착, 분리, 전자 구조 태스크에 걸쳐 상위 성능 구조물에 탐색을 집중시킨다. 동일한 루프는 새로운 MOF를 처음부터(de novo) 생성하고 실시간 시뮬레이션에서 검증하며, 요청된 조건에 맞게 기하학을 적응시켜 캠페인당 약 1달러의 비용으로 무작위 탐색 및 유전 알고리즘을 능가한다. LLM4MOF는 목표별로 모델을 학습시키지 않고도 언어 모델 에이전트가 해석 가능하고 시뮬레이션에 기반한 역설계를 수행할 수 있음을 보여준다.