arXiv:2611.23323v1 cs.SE

HydroMind: 자율 수문학 연구를 위한 검증 가능한 에이전트

HydroMind: A Checkable Agent for Autonomous Hydrological Research

Zheng Fang, Yiqun Sun, Simin Qu, Shijie Jiang

제출 2026-11-19

한국어 초록

범용 코딩 에이전트는 수문학 및 지구 시스템 모델을 위한 코드를 작성해 왔다. 이러한 연구에서는 모델을 어떻게 평가할지, 예를 들어 테스트 기간, 점수 함수, 모델이 충족해야 하는 기준을 연구자가 미리 결정하였다. 에이전트가 이러한 결정을 스스로 내릴 때 어떤 일이 일어나는지, 즉 에이전트의 주장 중 얼마나 많은 부분이 자체 데이터, 코드, 결과로 뒷받침되는지, 그리고 독자가 이를 검증할 수 있는지는 아직 어떤 연구에서도 검증되지 않았다. 두 가지 모두 에이전트의 하네스, 즉 호출할 수 있는 도구와 따르는 서면 지침에 달려 있을 수 있다. 우리는 세 가지 하네스를 비교하였다. 첫째는 에이전트 자체의 하네스이고, 둘째는 이 하네스에 범용 에이전트를 위해 우리가 개발한 수문 모델링 시스템인 HydroMind의 모델링 도구를 더한 것으로, 모든 모델을 고정된 명령을 통해 실행하고 그 설정, 학습된 모델, 예측을 저장한다. 셋째는 이 둘에 더해 HydroMind의 연구 절차까지 적용한 것으로, 에이전트가 모델을 실행하기 전에 연구 설계를 작성하고 그에 대한 모든 변경을 기록한다. 각 하네스에서 동일한 에이전트가 수문 모델 개발의 네 가지 미해결 질문을 연구하였으며 데이터만 제공받았다. 세 하네스에서 실험은 각각 23개, 20개, 41개의 주장을 제출하였고, 각 주장은 하나의 모델 또는 접근법이 다른 것보다 낫거나, 못하거나, 비슷하다고 진술한다. 실험 자체의 코드와 예측으로부터 다시 계산한 차이가 주장과 일치하지 않거나, 코드가 주장에서 명시한 두 모델 또는 접근법을 비교하지 않았다면 해당 주장은 성립하지 않는다. 세 하네스에서 각각 주장의 30%, 20%, 5%가 성립하지 않았다. 독자가 진술된 차이를 판단할 수 있게 하는 통계 검정, 신뢰구간, 또는 결정 규칙은 각각 주장의 48%, 53%, 83%에 대해 보고되었다. 언어 모델을 그대로 두고 하네스만 바꾸었을 때 성립하지 않는 주장의 비율은 감소하였고 독자가 검증할 수 있는 주장의 비율은 증가하였다.

원문 초록

General-purpose coding agents have written code for hydrological and Earth-system models. In these studies the researchers decided in advance how the model would be evaluated, for example the test period, the scoring function, and the standard the model had to meet. No study has tested what happens when the agent makes these decisions itself: how many of its claims are supported by its own data, code, and results, and whether readers can check them. Both may depend on the agent's harness, that is, the tools it can call and the written instructions it follows. We compared three harnesses: the agent's own harness; this harness plus the modeling tools of HydroMind, a hydrological modeling system we developed for general-purpose agents, which run every model through fixed commands and store its settings, trained model, and predictions; and both plus HydroMind's research procedure, under which the agent writes a research design before running any model and records every change to it. Under each harness, the same agent studied four open questions in hydrological model development and was given only the data. Under the three harnesses, the experiments submitted 23, 20, and 41 claims, each stating that one model or approach is better than, worse than, or similar to another. A claim does not hold if the difference recomputed from the experiment's own code and predictions disagrees with it, or if the code did not compare the two models or approaches the claim names. Under the three harnesses, 30%, 20%, and 5% of the claims did not hold. A statistical test, confidence interval, or decision rule that lets readers judge the stated difference was reported for 48%, 53%, and 83% of the claims. With the language model unchanged, changing only the harness reduced the share of claims that do not hold and increased the share that readers can check.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23323v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.