규칙에서 도구로: 과학 계산 분야 LLM 에이전트를 위한 실행 가능한 검사
Rules to Tools: Executable Checks for LLM Agents in Scientific Computing
한국어 초록
과학 코딩 에이전트(agent)는 방정식, 경계 조건, 출력 요구사항을 서면으로 전달받은 뒤, 자신이 수정한 프로그램을 평가해야 합니다. Rules to Tools(R2T)는 공개된 과학적 요구사항에 대해 미리 준비된 실행 가능한 검사 기능을 제공합니다. 매칭된 SciCode 복구 그룹들은 서면 검사, 시작 프로그램, 모델(model), 예산을 공유하며, 도구 그룹은 호출 가능한 구현체를 제공받습니다. 두 개의 태스크 ID 코호트 전체에서 완전한 복구는 텍스트를 사용했을 때 26/30, 준비된 검사를 사용했을 때 29/30을 기록했습니다. 3개의 태스크 ID는 도구 그룹에 유리했고, 1개는 텍스트 그룹에 유리했으며, 11개는 동률이었습니다. 8개 ID 코호트는 13/16 대 15/16을 기록했으며, 차이에 대한 태스크 클러스터 부트스트랩 95% 신뢰구간은 [-12.5, 43.75]%p였습니다. 더 큰 공유 정의 SciCode 코호트는 그룹당 13/24로 동률을 이루었습니다. 대체 시작 프로그램을 적용한 5개의 개발 노출 태스크에서는 3/10 대 7/10을 기록했습니다. 도구 그룹은 태스크 17, 77, 11에 유리했으며, 초기 검사에서 태스크 17은 플래그가 지정되었고 태스크 77과 11은 위반이 보고되지 않았습니다. 태스크 37은 텍스트 그룹에 유리했으며 초기에 보고된 위반 사항이 없었습니다. 신규 source-through-Python 실험군 또한 15/16에 도달하여 전용 명령의 총합과 일치했습니다. 매칭된 PDE 비교에서 상세 텍스트는 23/24, 검사는 24/24를 기록했으며, 검사 사용 시 보고된 모델 출력이 31.2% 더 낮았습니다. 에이전트 측 출력 절감량은 코호트별로 상이한 반면, 두 태스크 ID 코호트 모두에서 공개 CPU 사용량은 증가했습니다. 이러한 결과는 준비된 검사를 사용할 때 태스크 의존적인 복구 성과 및 에이전트 측 비용을 측정합니다.
원문 초록
Scientific coding agents receive equations, boundary conditions, and output requirements in writing, then must assess the programs they revise. Rules to Tools (R2T) supplies prepared executable checks of public scientific requirements. Matched SciCode repair groups share written checks, starting programs, model, and budgets; the tool group receives a callable implementation. Across two task-ID cohorts, complete repair is 26/30 with text and 29/30 with the prepared checks. Three task IDs favor tools, one favors text, and eleven tie. The eight-ID cohort scores 13/16 versus 15/16, with a task-cluster bootstrap 95% interval of [-12.5, 43.75] percentage points for the difference. The larger shared-definition SciCode cohort ties at 13/24 per group. Five development-exposed tasks with alternate starting programs score 3/10 versus 7/10. The tool group favors tasks 17, 77, and 11; initial checks flag task 17 and report no violation for tasks 77 and 11. Task 37 favors text and has no initial reported violation. A fresh source-through-Python arm also reaches 15/16, matching the dedicated command's aggregate. In a matched PDE comparison, detailed text scores 23/24 and checks score 24/24, with 31.2% lower reported model output for checks. Agent-side output savings vary by cohort, while public CPU use rises in both task-ID cohorts. These results measure task-dependent repair outcomes and agent-side costs with prepared checks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
과학 분야를 위한 터미널 환경의 자기지도 스케일링
Self-Supervised Scaling of Terminal Environments for Scientific Domains
터미널 에이전트(agent)는 소프트웨어 공학을 넘어 과학 및 기타 전문 분야에 점점 더 많이 배포되고 있습니다. 학습(training) 환경을 구축하려면 실행 가능한 기준 동작과 겉으로만 그럴듯한 결과물과 의미론적 정확성을 구분하는 도메인 특화 검증기(verifier)가 필요합니다. 각 작업마다 이러한 구성 요소를 직접 작성하는 것은 반복적인 엔지니어링을 요구하며 재사용성을 제한합니다. 본 연구에서는 구조화된 입력을 출력으로 매핑하는 실행 가능한 프로그램인 기존 소프트웨어 워크플로로부터 기준 출력과 검증 대상을 얻는 자기지도(self-supervised) 프레임워크인 소프트웨어 인 더 루프 재구성(software-in-the-loop reconstruction, SWR)을 소개합니다. 각 워크플로에 대해 여러 입력 구성을 실행하고 사례를 공개 관측치와 비공개 평가로 분할합니다. 지시문, 입력 스키마, 공개된 입출력 관측치가 주어지면 에이전트는 소스 워크플로에 직접 접근하지 않고도 편집 가능한 프로그램을 구성합니다. 후보 프로그램은 비공개 구성에서 워크플로 출력을 기준으로 평가됩니다. 계층적 검증기는 도메인 특화 의미 비교, 구조적 유효성, 지름길 방지(anti-shortcut) 검사를 결합하며, 공개 피드백은 반복적인 수정을 지원합니다. 이러한 구축 방식은 각 작업마다 기준 솔루션을 직접 작성하지 않고도 추가적인 워크플로와 구성을 수용할 수 있습니다. 6개 도메인에 걸쳐 500개의 워크플로와 46개의 소프트웨어 패밀리로 SWR을 구현했습니다. 작업당 3회의 시도에 걸쳐 Qwen3.8-Max는 838개의 작업을 해결하고 1,422개의 검증된 궤적을 생성했으며, 이를 오버샘플링하여 3,000개의 재구성 전용 학습 예제를 구축했습니다. Qwen3.8-27B의 지도 미세조정(supervised fine-tuning)은 3개 시드에 걸쳐 평균 Terminal-Bench 2 성능을 47.94%에서 53.56%로 향상시켰으며, 보고된 4개의 평가 모두에서 토큰(token) 수가 일치하는 4개의 말뭉치 대조군 중 가장 높은 평균을 달성했습니다. 이러한 결과는 기존의 과학 소프트웨어가 터미널 에이전트를 위한 확장 가능하고 동작 검증된 지도 신호를 제공할 수 있음을 보여줍니다.
적합한 조합 찾기: 에이전트 태스크 전반에 걸친 모델-하네스 상호작용
Finding the Right Fit: Model-Harness Interactions across Agent Tasks
에이전트(agent) 시스템을 선택한다는 것은 언어 모델(language model)과 해당 모델이 동작하는 하네스(harness)를 모두 선택함을 의미한다. 본 연구에서는 강력한 모델, 하네스 또는 그 조합이 환경이 바뀌어도 강력함을 유지하는지 묻는다. 설정 가능한 네 가지 하네스(OpenHands, DeepSeek Harness, PI, openJiuwen)를 다섯 가지 모델과 결합하여 TUA-Bench, ALE-CLI, Terminal-Bench 4에서 평가하고, 기본(native) 조합인 Codex-GPT 및 Claude Code-Claude를 더해 총 66가지 구성을 평가한다. 모델 순위는 하네스에 따라 뒤바뀐다. Terminal-Bench 4에서 Claude는 OpenHands 환경에서 GPT를 7.94점 앞서지만, PI 환경에서는 30.16점 뒤처진다. 다섯 개 모델 중 네 개에서 벤치마크마다 최적의 하네스가 달라졌으나, 특정 조합은 일관되게 유지되었다. openJiuwen은 세 벤치마크 모두에서 Kimi에게 5.61점에서 11.11점 차이로 최고 점수를 제공했다. 모델 자체 벤더의 하네스가 항상 최적은 아니며, 비용이 높다고 해서 반드시 더 높은 점수를 얻는 것도 아니다. Terminal-Bench 4에서 GPT는 DSH보다 PI 환경에서 태스크당 비용을 4분의 1 미만으로 쓰면서도 더 높은 점수를 기록했다. 매칭된 궤적(matched trajectories) 분석은 적합성이 달라지는 이유를 시사한다. 모델은 거의 모든 복구 작업을 스스로 시작하므로, 하네스가 모델이 활용할 수 있는 형태로 실패 정보를 다시 넘겨주는지에 크게 좌우된다. GPT는 PI의 간결한 스캐폴드(scaffold)에서 가장 우수한 성능을 보인 반면, 기형적인 도구 호출(tool call)을 자주 생성하는 Kimi는 openJiuwen에서 가장 우수한 성능을 보였다. 우리는 모델, 하네스, 태스크를 함께 평가해야 한다고 주장하며, 하네스 어댑터, 평가 코드 및 점수가 매겨진 6,204개 궤적 전체를 https://github.com/liyix/finding-the-right-fit 및 https://huggingface.co/datasets/yixuanli97/finding-the-right-fit 에 공개한다.
SkillGym: 실제 문제 해결을 위해 인간의 스킬을 LLM에 내재화하기
SkillGym: Internalizing Human Skills into LLMs for Real-World Problem Solving
사람이 작성한 에이전트 스킬(skill)은 실제 문제 해결을 위한 풍부한 워크플로를 담고 있지만, 일반적으로 재사용 가능한 모델 역량으로 내재화되지 못한 채 추론 시점의 외부 지침으로만 사용된다. 본 논문에서는 이러한 스킬을 대규모 언어 모델 에이전트를 위한 실행 가능하고 검증 가능한 학습 환경으로 변환하는 프레임워크인 \texttt{SkillGym}을 소개한다. SkillGym의 스킬-태스크 파이프라인은 구체적인 태스크를 생성하고, 코드 기반 검사기로 결과를 검증하며, 대조 실행(contrastive execution)을 통해 스킬에 대한 경험적 의존도를 평가한다. 우리는 12개 범주에 걸쳐 2,756개의 환경을 구축하여 공개하고, 여러 모델과 하네스(harness)에서 성공한 궤적(trajectory) 8,364개를 수집했으며, 이 궤적은 평균 49회의 도구 호출과 6만 개가 넘는 로깅된 텍스트 토큰으로 구성된다. 이러한 자원은 검증된 워크플로에 대한 지도 미세조정과 결과 기반 보상을 사용하는 강화학습을 지원한다. Claude Code 환경에서 지도 미세조정은 Qwen3.5-35B-A3B의 성능을 GDPval-AA v2에서 199 Elo, Terminal-Bench 2.1에서 19.10%p 향상시켰으며, SkillsBench v1.1에서는 스킬을 사용한 경우와 사용하지 않은 경우 각각 28.13점과 12.38점 향상시켰다. 35B 규모의 \texttt{SkillGym-Agent}는 스킬을 활용한 SkillsBench에서 51.47\%를 달성하여 Claude Sonnet 4.6, GPT-5.4 Mini, DeepSeek V4 Pro의 보고된 점수를 넘어선다. 또한 스킬 없이도 Codex와 Claude Code 환경에서 스킬을 활용한 기본 모델들을 능가하며, 이는 재사용 가능한 절차적 역량을 시사한다.
Agent-Editing World Model: LLM 에이전트를 위한 월드 모델링 재고
Agent-Editing World Model: Rethinking World Modeling for LLM Agents
대규모 언어 모델(LLM)의 최근 발전으로 에이전트가 다양한 환경에서 장기(long-horizon) 과제를 수행할 수 있게 되었다. 에이전트 성능을 더 높이기 위해 기존 언어 월드 모델은 주로 환경 관측을 예측하지만, 실제 피드백을 사용할 수 있을 때 고엔트로피·실행 의존적 도구 응답을 재구성하는 것은 제한된 가치만 제공한다. 한편 에이전트는 \emph{과제 상태 오염(task-state contamination)}에 시달리는데, 근거 없는 가정과 낡은 계획이 이력에 남아 이후 결정을 왜곡한다. 우리는 도구 응답을 시뮬레이션하기보다 추론과 행동이 미래 과제 진행을 어떻게 형성하는지를 모델링하는 \textbf{Agent-Editing World Model (AEWM)}을 제안한다. AEWM은 \textsc{Critical}, \textsc{Exploratory}, \textsc{Noisy} 결정을 구분하는 \textbf{Action Judge}와 동일한 관측 이력에서 noisy한 추론–행동 연속을 편집하는 \textbf{State Revision}을 결합한다. \textbf{EditAct}는 이러한 기능을 실제 실행과 통합하여, 단순히 비평만 제공하는 대신 이후 결정의 기반이 되는 상태를 직접 변경한다. 우리는 중간 학습(mid-training)과 지도 미세조정을 통해 Search, Terminal, Software Engineering 영역에서 AEWM을 학습한다. AEWM은 Action Judge 벤치마크에서 70.5\% macro-F1을 달성하여, 가장 강한 프론티어 기준선보다 10.6점 높다. 여섯 벤치마크와 세 에이전트 백본에서 EditAct는 가장 강한 기준선 대비 평균 점수를 3.2–6.7점 향상시킨다. 또한 검증된 EditAct 궤적에 대한 거부 샘플링 미세조정(\textbf{AEWM-RFT})은 온라인 AEWM 가이던스 없이 세 도메인에서 Self-RFT 대비 2.2–2.6점 향상된다.
FDE-Bench: 배포 환경 구성을 위한 LLM 에이전트 평가
FDE-Bench: Evaluating LLM Agents for Deployment Environment Configuration
배포는 애플리케이션 코드를 서비스들이 서로 연결되고, 준비 상태가 되며, 관측 가능성을 유지하는 실행 중인 시스템으로 전환하는 에이전트 역량을 요구합니다. FDE-Bench는 신규 구축(greenfield) 및 진단-복구(diagnose-and-repair) 모드에서 Docker 이미지, 다중 서비스 Compose 스택, Kubernetes 전반에 걸친 136개의 배포 구성 태스크를 통해 이 역량을 평가합니다. 에이전트는 선언적 아티팩트를 제출하며, 이는 수집된 후 무결한 환경에서 다시 빌드되고 재배포됩니다. 네 단계의 게이트형 이진 검사 레이어는 LLM 판정자(LLM judge) 없이 프로그래밍 방식의 검사를 사용하여 빌드, 준비 상태, 동작, 그리고 배포 명세에 대한 적합성을 측정합니다. 4개 축으로 구성된 릴리스 게이트는 문제를 해결하는 참조 솔루션을 요구하며 아무런 조치도 취하지 않거나(do-nothing), 명세를 단순 전사하거나(specification-transcription), 범용 스텁(generic-stub)을 제출하여 해결되는 태스크는 거부합니다. 공개된 검사 주석은 7개의 문서화된 격차를 포함하여 2,145개의 검사와 해당 명세 간의 연결 고리를 드러냅니다. 세 가지 추가적인 적대적 전략은 채점 신호의 지름길을 테스트하며, 이들이 다루는 135개 태스크 중 어느 것도 해결하지 못한 반면, 실질적 내용이 없는 헬스 프로브(vacuous health probe)는 준비 상태 검사를 통과함으로써 후속 단계 검사의 필요성을 드러냅니다. 136개 태스크 평가 그리드에서 4개 제공업체의 7개 언어 모델은 동일한 4개 도구 스캐폴드를 사용하여 태스크의 52.9-75.0%를 해결합니다. 세 가지 지능 제로(zero-intelligence) 하한선은 어떤 태스크도 해결하지 못하며 최대 0.44의 평균 배포 점수(Deployment Score)를 기록합니다. 준비 상태 검사는 해결되지 않은 313개 에피소드 중 110개를 차지하는 가장 큰 실패 단계입니다. 평균 해결률은 완전히 분리된 신규 구축 태스크 그룹보다 복구 태스크 그룹에서 30.7%포인트 더 높았으며, 모든 모델에서 양의 격차가 나타났고 10개 태스크는 7개 모델 모두 해결하지 못했습니다. 25개 태스크 대상의 사례 연구에서는 Claude-Sonnet-5를 지휘하는 한 명의 현직 엔지니어가 92%를 해결하여 자율 기준선(72%) 대비 우수한 성능을 보였습니다. FDE-Bench는 배포 성공 및 실패를 검사하고 재생할 수 있는 아티팩트와 연결합니다.
실행에서 역량으로: 절차적 지식 합성을 통한 과학적 경험 통합
From Execution to Capability: Scientific Experience Consolidation via Procedural Knowledge Synthesis
대규모 언어 모델(LLM)은 점점 더 과학 컴퓨팅 과제를 해결하지만, 한 문제에서 얻은 실행 가능한 피드백이 이후 문제에서 지속적인 역량으로 이어지는 경우는 드뭅니다. 본 연구는 과학 컴퓨팅 경험 통합을 다룹니다. 즉, 검증된 런타임 경험을 전이 가능한 절차적 지식과 지속적인 모델 개선으로 전환하는 것입니다. 이 설정은 두 가지 과제를 제시합니다. 궤적(trajectory)에서 파생된 산출물이 과제 간 계산 메커니즘이 아닌 출처 특정적 수정을 인코딩할 수 있다는 점, 그리고 더 약한 타깃 모델이 그렇지 않으면 유효한 추상 절차를 실행적으로 활용하지 못할 수 있다는 점—추상화-실행 간극(abstraction-execution gap)입니다. SciConsolidate를 제안합니다. 이는 검증된 성공과 실패를 대비하여 과제 간 절차를 유도하고, 개발-검증(validation) 게이트를 통해 이를 선별하며, 사전에 존재하는 참조 답 없이도 통합 데이터를 확장하기 위해 실패 정보 기반의 답 없는(answer-free) 쿼리 합성을 사용합니다. 타깃 모델이 이러한 추상화를 직접 실행하지 못할 수 있기 때문에, 더 강한 모델이 이를 실행 가능한 코드 supervision으로 구체화하여 표준적인 절차 없는(procedure-free) SFT에 사용합니다. 절차 없는(no-procedure) 교사 분기를 매칭하여 절차적 안내의 가치를 분리합니다. SciCode에서 런타임 절차 주입은 Qwen3.6-27B를 하위 단계/주요 문제에서 각각 +3.85/+6.26점 향상시키지만, Qwen3.5-9B에서는 거의 집계된 주요 문제 향상을 얻지 못하여 추상화-실행 간극에 대한 운영적 증거를 제공합니다. 절차 안내 기반 구체화 이후, 9B 학생 모델은 절차 없는 배포에서 절차 없는 SFT 대조군 대비 +3.89/+6.25점, 원래 9B 모델 대비 +5.62/+11.25점 향상됩니다. 이 결과는 과학 컴퓨팅을 위한 경험-역량 경로를 확립하고, 자기 개선형 과학 지원을 확장하기 위한 실용적 출발점을 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.