고충실도 시뮬레이션은 과학 및 공학 설계에 필수적이지만 반복 실행 비용이 많이 들 수 있습니다. 학습된 대리 모델(surrogate)은 더 빠른 대안을 제공하지만, 상대적으로 높은 오차로 인해 다운스트림 의사결정이 바뀔 수 있습니다. 이러한 정확도와 속도 간의 절충으로 인해 대리 모델을 사용할 수 있는지, 아니면 완전한 시뮬레이터가 여전히 필요한지를 결정해야 하는 문제가 발생합니다. 본 연구에서는 관심 대상인 스칼라 수량이 고정된 임계값(threshold)의 상위 또는 하위에 위치하는지에 따라 결정되는 의사결정을 연구합니다. 각 입력에 대해 대리 모델의 컨포멀 구간(conformal interval)이 임계값의 한쪽에 완전히 위치할 때는 대리 모델을 사용하고, 구간이 임계값과 교차할 때는 입력을 시뮬레이션으로 라우팅합니다. 표준 컨포멀 예측은 다운스트림 의사결정 임계값을 고려하지 않고 구간을 구성합니다. 즉, 임계값 근처의 좁은 구간이라도 임계값을 가로질러 시뮬레이션을 트리거할 수 있는 반면, 멀리 떨어진 더 넓은 구간은 한쪽에 완전히 머물러 시뮬레이션을 요구하지 않을 수 있습니다. 이에 의사결정 경계 근처에 구간의 조밀함을 집중시키는 임계값 인지 목적 함수를 사용하여 입력 의존적 스케일을 학습하는 임계값 인지 컨포멀 라우팅(TACR)을 제안합니다. 홀드아웃 데이터에 대한 정확한 분할 컨포멀 보정(split-conformal calibration)은 분포 무관 한계 커버리지(distribution-free marginal coverage)를 보존하며, 이는 라우팅되지 않은 잘못된 임계값 결정 확률의 상한선 역할도 수행합니다. 다양한 과학 및 공학 데이터셋에서 TACR은 동일한 목표 커버리지에서 표준 컨포멀 예측 대비 시뮬레이터 위임(deferral)을 14-75% 감소시킵니다. 임계값 국소 가중치를 적용하지 않았으나 유사한 예측 정확도를 지닌 변형 모델과 비교했을 때, TACR은 4개 데이터셋에서 위임을 10-24% 추가로 줄입니다. 이러한 결과는 라우팅을 위한 구간 할당을 최적화함으로써 표준 컨포멀 보장을 약화시키지 않으면서도 시뮬레이터 호출을 줄일 수 있음을 보여줍니다.
우리는 몬테카를로 입자 및 중이온 수송 코드 시스템(PHITS)을 위한 실행 기반 평가 벤치마크인 PHITSBench를 소개한다. PHITSBench는 세 가지 공통 워크플로 범주에 걸쳐 282개의 수송 채점 가능 태스크로 구성된다: 매개변수 편집(Edit), 구문 수정(Repair), 자연어 설명으로부터의 완전한 시뮬레이션 생성(Reproduce). 각 태스크는 실행 성공 여부와 생성된 수송 관측량과 참조 수송 관측량 간의 일치도를 결합한 복합 지표 점수(Composite Metric Score)를 사용하여 평가된다. PHITSBench를 활용하여 제로샷 프롬프팅부터 지식 증강 및 에이전트 워크플로까지 다섯 가지 GPT-5.4 기반 구성을 평가한다. 도메인 특화 지식 없이 모델은 편집 및 수정 태스크에서 높은 성능(각각 95%, 70% 성공률)을 보이지만, 처음부터 올바른 시뮬레이션을 생성하는 데는 실패한다(Reproduce 트랙에서 성공률 0%). 사용자 매뉴얼과 함께 제공되는 구조화된 기계 가독형 PHITS 지식 카탈로그는 단일 시도 Reproduce 태스크 성공률을 57%까지 향상시킨다. 에이전트 실행은 66~73%까지 추가적인 개선을 제공하지만, 계산 비용이 증가한다. 실패 분석 결과, 나머지 오류는 구문 생성보다는 물리적 관측량의 잘못된 선택 및 구성에서 비롯된 것으로 나타났다. 이러한 결과는 AI 보조 방사선 수송 모델링의 향후 발전이 기반 모델 자체의 발전만큼이나 기계 가독형 지식 베이스, 큐레이션된 도메인 학습 데이터셋, 실행 기반 평가 환경에 달려 있음을 시사한다.
오토인코더(AutoEncoder)로 300배 이상의 차원 축소를 수행하고 신경 상미분방정식(Neural ODE)으로 시간 진행을 모델링하는 딥러닝 기반 대리 모델(surrogate model)을 구축하여, 전원 완전 상실(SBO) 및 냉각재 상실 사고(LOCA) 시나리오에서 ASTEC 시뮬레이터의 약 80개 물리 변수를 1분 이내로 예측한다. 수 일이 소요되는 ASTEC 중대사고(severe accident) 시뮬레이션을 실시간 원전 운전원 훈련에 활용할 수 있도록 최대 40시간 분량의 시뮬레이션을 대폭 가속한 첫 연구다.
Large language model agents are increasingly connected to scientific software, yet it remains unclear when tool access makes scientific computation more reliable rather than merely more complex. We introduce PHREEQC-MCQ-200, a benchmark for evaluating tool-augmented agents on deterministic aqueous-geochemistry simulations. The benchmark contains 200 multiple-choice questions derived from 21 validated PHREEQC scenarios, requiring agents to construct simulator inputs, execute PHREEQC, inspect structured outputs, and commit to final answers. Across multiple frontier and mid-tier model families, simulator access substantially improves aggregate accuracy, confirming that grounded execution is necessary for many scientific-computation tasks. However, the gains are not monotonic: tool-augmented agents also lose items they answered correctly without tools, revealing regressions that average accuracy alone hides. We further show that output-access protocol matters. A table-of-contents interface can reduce token cost while preserving or improving accuracy for stronger models, but it degrades performance for mid-tier models that cannot reliably navigate structured simulator outputs. PHREEQC-MCQ-200 therefore frames scientific tool use as an end-to-end diagnostic problem rather than a simple tool-calling capability. We argue that evaluations of scientific agents should report not only accuracy, but also item-level retention, output-access sensitivity, trajectory failures, and where the computation chain breaks.
고급 과학 시뮬레이터를 구성하고 모델링 목표를 유효하고 실행 가능한 입력 덱(input deck)으로 변환하는 것은, 도메인 과학자에게 수 시간에서 수 일의 비용을 치르게 하는 지속적인 병목이다. 입력 덱은 실행 가능한 인터페이스이며, 시뮬레이션이 실행되려면 시뮬레이터별 어휘, 파일 간 참조, 스키마 제약, 검증 규칙이 정렬되어야 한다. 우리는 이 병목이 맞춤형 시뮬레이터 에이전트가 아니라 범용 코딩 에이전트 주변의 경량 어댑터로 실질적으로 완화될 수 있음을 보인다. 코딩 에이전트는 이미 파일 탐색, 코드 편집, 명령 실행, 출력 수정을 수행하지만, 부족한 것은 시뮬레이터의 실행 계약(executable contract)이며, 에이전트 루프를 재구축하면 하네스(harness)로 보정된 도구 사용과 자기 수정(self-correction) 행동을 버릴 위험이 있다. 우리는 검색(retrieval), 절차적 메모리(procedural memory), 에이전트 호출 가능 검증, 검증 게이트 종료(validation-gated termination)를 통해 이 계약을 제공하면서 모델과 루프는 고정한 채 두는 코딩 에이전트 어댑터인 SIGA를 제안한다. 이 계약이 작고 외부적이기 때문에 SIGA는 어댑터 자기 진화(adapter self-evolution)도 지원한다. 이전 궤적(trajectory)이 기본 에이전트를 수정하지 않고도 어댑터 내용을 다시 쓸 수 있다. 다중물리 지하 시뮬레이터인 GEOS에서 SIGA의 주요 이득은 신뢰성이다. 더 어려운 홀드아웃(hold-out) 작업에서 TreeSim을 0.720에서 0.789로 향상시키고, 빈 덱이나 유효하지 않은 덱을 방지하여 실행 간 표준편차를 약 16배 줄인다. 인간 보정(calibration)에서 SIGA는 약 5분 만에 도메인 전문가가 약 3시간에 달성한 덱 품질에 도달한다. OpenFOAM과 LAMMPS로의 전이(transfer)는 이 방법(recipe)이 이식 가능하지만 인터페이스에 따라 달라짐을 보여준다. 구조적 완전성이 병목일 때는 완료 게이트(completion gates)가 도움이 되고, 값의 정확성(value correctness)이 병목일 때는 메모리와 검색이 도움이 된다.