arXiv:2606.12834v1 cs.AI

환상적인 과학 에이전트와 그 구축 방법: Rietveld 정제를 위한 AgentBuild

Fantastic Scientific Agents and How to Build Them: AgentBuild for Rietveld Refinement

Woong Shin, Craig A. Bridges, Marshall T. McDonnell, Rafael Ferreira da Silva

제출 2026-06-11

한국어 초록

과학적 워크플로우가 결정론적 실행 파일에서 대규모 언어 모델(LLM) 기반 에이전트로 전환됨에 따라, 파인튜닝, 강화학습, 프롬프트-앤드-고 등 현재 제공되는 개발 방식들은 과학자의 판단을 묻어버린다. 우리는 에이전트 구축을 워크플로우의 한 단계로 취급할 것을 제안하며, 과학자가 작성한 계약(contract)으로부터 과학 에이전트를 구축하는 AgentBuild를 소개한다. 계약은 버전 관리된 루브릭(rubric), 난이도별 커리큘럼, 그리고 선별된 외부 지식 베이스로 구성된다. 루브릭 기반 판정자(judge)가 선언된 경계 내에서 에이전트를 편집하는 메타 최적화 코딩 에이전트를 제어함으로써, 구축 과정은 과학자의 판단이 아닌 에이전트를 컴파일한다. 우리는 이를 MCP와 A2A 뒤의 GSAS-II를 통한 X선 회절 데이터의 Rietveld 정제에 적용하였으며, 빈 하네스 구축 실행이 리튬 란타넘 지르코늄 산화물(LLZO)의 신호 대 잡음비 사다리를 통해 진행되어 4시간 스캔을 프론티어 케이스로 도달하고, 남아 있는 워크플로우 범위 한계를 드러낸다. 신뢰할 수 있는 피팅에 보상을 주는 동일한 루브릭이 궤적 범위(trajectory scope)도 평가함으로써, 프론티어를 패턴 피팅 실패가 아닌 계약 실패로 규정한다. 기반 모델이 발전함에 따라 AgentBuild를 재실행하는 것은 재구축이 아닌 재조정(re-tune)이며, 과학자가 작성한 계약은 지속 가능한 자산으로 남는다.

원문 초록

As scientific workflows shift from deterministic executables to LLM-based agents, the development practices on offer, such as fine-tuning, reinforcement learning, and prompt-and-go, bury the scientist's judgment. We propose treating agent construction as a workflow stage and introduce AgentBuild, which builds a scientific agent from a contract the scientist authors. The contract is a version-controlled rubric, a difficulty-graded curriculum, and a curated external knowledge base. A rubric-driven judge gates a meta-optimizer coding agent that edits the agent within a declared boundary, so the build compiles the agent, not the scientist's judgment. We instantiate this for Rietveld refinement of X-ray diffraction data through GSAS-II behind MCP and A2A, where a blank-harness construction run progresses through a lithium lanthanum zirconium oxide (LLZO) signal-to-noise ladder, reaches the 4 hour scan as a frontier case, and exposes the workflow-scope limits that remain. The same rubric that rewards credible fits also scores trajectory scope, making the frontier a contract failure rather than a pattern-fitting failure. As base models evolve, re-running AgentBuild is a re-tune, not a rebuild, and the scientist's authored contract remains the durable asset.

요약

과학적 워크플로우에서 LLM 기반 에이전트 개발 시 과학자의 판단을 보존하기 위해, 과학자가 작성한 계약을 기반으로 메타 최적화 코딩 에이전트가 에이전트를 구축하는 AgentBuild를 도입한다. Rietveld 정제 작업을 통해 루브릭 기반 판단이 에이전트를 수정하고 기본 모델이 발전해도 계약이 지속 가능한 자산임을 입증했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12834v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21971v2cs.LG공통 태그 Meta-Learning, Code Generation

LLM에게 자기 진화를 가르치기: 강화학습으로 핵심 메타 스킬 함양

Teaching LLMs to Self-Evolve: Cultivating Core Meta-Skills with Reinforcement Learning

AlphaEvolve에서 보여주듯, 환경 피드백을 활용한 반복적 자기 진화를 통한 테스트 시점 스케일링(test-time scaling)은 놀라운 성능 향상을 보인다. 우리는 이러한 진화 프레임워크의 성공이 환경 피드백을 통한 자기 성찰(self-reflection)과 같은 메타 스킬(meta-skills)에 달려 있으며, 이는 효과적인 다중 라운드 정제를 가능하게 하지만 기존 사후 학습에서는 대체로 간과된다고 가정한다. 이 격차를 메우기 위해 데이터 합성 파이프라인, 진화 인식(evolution-aware) 강화학습, 그리고 추론 시점 진화 탐색을 통해 이러한 메타 스킬을 개발하도록 설계된 MetaEvolve 프레임워크를 제안한다. 구체적으로 MetaEvolve를 코딩에 그라운딩(grounding)하였으며, 여기서 프로그램 실행은 이진 정확성을 넘어 자연스럽고 연속적인 보상 신호를 제공한다. 이러한 신호를 바탕으로 각각 현재 프로그램, 적합도 점수(정확성과 효율성의 결합), 그리고 이전 시도 기록을 포함하는 진화 궤적을 학습 데이터로 합성하고, 테스트 케이스 실행에서 도출된 검증 가능한 보상으로 강화학습을 통해 모델을 학습한다. 대규모 코드 데이터로 학습함으로써, 풍부한 학습 신호가 부족한 개방형(open-ended) 문제에 광범위하게 전이할 수 있는 일반화 가능한 도메인 무관(domain-agnostic) 메타 스킬을 기대한다. 7개의 코딩 벤치마크에서 MetaEvolve는 분포 내(in-distribution) 과제에서 가장 강력한 기준선을 절대 10.01%p 초과하고, 분포 외(out-of-distribution) 과제에서는 24.12%p 초과한다. 학습 도메인을 완전히 벗어난 개방형 알고리즘 최적화 문제에서도 46.9%의 상대적 향상을 달성한다. 이러한 결과는 자기 진화 메타 스킬을 명시적으로 함양하는 것이 더 유능하고 자율적으로 자기 진화하는 AI를 향한 원칙적인 경로를 제공함을 보여준다.

arXiv:2607.14159v1cs.AI공통 태그 Meta-Learning, Code Generation

MemoHarness: 경험으로부터 학습하는 에이전트 하네스

MemoHarness: Agent Harnesses That Learn from Experience

에이전트 하네스는 컨텍스트, 도구, 오케스트레이션, 메모리, 디코딩, 출력 처리를 관리하여 기본 LLM을 실행 가능한 에이전트로 전환하는 외부 제어 층이다. 하네스 설계는 에이전트 행동에 큰 영향을 미치지만, 대부분의 자동 개선 방법은 프롬프트, 파이프라인, 워크플로와 같은 더 좁은 산출물을 최적화하며, 배포된 에이전트는 보통 모든 경우에 단일 전역 하네스를 재사용한다. 우리는 자체 실행으로부터 학습하는 적응형 하네스 최적화 프레임워크인 MemoHarness를 제안한다. MemoHarness는 하네스를 여섯 개의 편집 가능한 제어 차원으로 분해하고, 사례별 진단과 정제된 전역 패턴을 이중 층 경험 뱅크에 저장하며, 테스트 시 레이블, 피드백, 추가 검색 없이 검색된 경험을 사용하여 학습된 하네스를 각 테스트 사례에 적응시킨다. 셸 에이전트, 코드 생성, 분석적 추론 벤치마크에 걸친 평가에서 MemoHarness는 우리가 비교한 고정 하네스보다 향상되며, 보지 못한 테스트 스위트와 기본 모델에 대한 선택적 전이를 보여준다. 검색된 경험의 상당 부분이 캐시 가능할 때 추가 컨텍스트도 비용 경쟁력을 유지할 수 있다. 이 결과는 실행 경험이 단일 정적 구성보다 더 적응적인 에이전트 하네스를 구축하기 위한 실용적인 기반임을 뒷받침하며, 통계적 견고성과 구성 요소 귀속에 대한 더 넓은 주장은 향후 연구에 맡긴다.

arXiv:2610.02363v2cs.LG공통 태그 Code Generation

ArrivalBench: 에이전트가 생성한 데이터 파이프라인은 단 한 번만 올바르고 시간에 따라 틀린다

ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time

에이전트가 생성한 데이터 작업을 평가하는 기존 벤치마크는 고정된 스냅샷에 대해 파이프라인을 한 번 실행하여 채점합니다. 이와 달리 ArrivalBench는 적대적이지만 재현 가능한 전달 스케줄(지연, 중복, 순서 뒤바뀜, 재시도된 레코드) 하에서 에이전트가 남긴 파이프라인을 재실행하며, 최종 상태가 전체 로그에 대한 배치 재계산 결과와 동일할 것을 요구합니다. 오라클이 분류하는 대신 재계산하기 때문에, 잘못된 테이블과 비정상 종료(crash)는 명확히 구분된 판정으로 취급됩니다. 즉, 비정상 종료는 팀이 이미 운영 중인 모니터링을 통해 감지할 수 있지만 잘못된 테이블은 감지되지 않습니다. 저자들이 구축한 40개 작업에서 단일 실행 채점을 재구현한 결과 11개 모델이 생성한 파이프라인의 86~100%가 통과 판정을 받았으나, 동일한 산출물을 재실행하자 통과된 것 중 7.0~79.2%가 조용히 틀린 결과를 내는 것으로 나타났습니다. 이러한 격차는 복구 루프 때문에 발생하는 것이 아닙니다. 동일한 모델과 작업 내에서 스냅샷 테스트를 거쳐 수정된 파이프라인은 처음에 통과한 파이프라인과 거의 비슷한 빈도로 재실행에 실패합니다. 모든 모델에서 멱등성 위험(idempotency hazard)이 순서 관련 위험보다 더 자주 실패를 유발했습니다. 오답과 비정상 종료를 분리하는 것은 개입(intervention)의 해석 방식도 바꿉니다. 한 모델의 경우 위험 경고를 통해 무음 실패(silent failure)를 48.2%에서 10.5%로 줄였지만 비정상 종료율은 9.0%에서 37.0%로 증가하여 전체 실패율은 51.0%에서 44.0%로 소폭 이동하는 데 그쳤습니다. 11개 실험군 모두 독립적으로 재실행되었으며, 실패율 변동은 최대 5.9%포인트에 불과했습니다.

arXiv:2607.11505v3cs.LG공통 태그 Code Generation

Proxy OPD: 전이 가능한 상대적 프록시 업데이트를 이용한 대규모 언어 모델의 온-폴리시 증류

Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update for Large Language Models

보상 기반 강화학습(RL)은 대규모 언어 모델을 개선하지만, 여러 대상 모델에 대해 반복하면 상당한 비용이 발생한다. 온-폴리시 증류(OPD)는 대상 모델이 생성한 궤적에서 전문가 모델의 분포를 맞추도록 하여 전문가를 재사용하지만, 기반 정책이 서로 다르면 보상으로 유도된 업데이트가 기존의 정책 차이와 뒤섞여 전이되는 업데이트 방향이 왜곡될 수 있다. 우리는 대상 모델의 동결된 기반 정책을 기준으로 삼아 보상으로 유도된 상대적 정책 업데이트를 전이하는 사후 학습 방법인 Proxy OPD(P-OPD)를 제안한다. 프록시는 보상에 따른 탐색을 거치며, 초기 정책과 최적화된 정책 사이의 토큰 수준 로그 확률 변화를 산출한다. 이 신호는 대상 모델이 생성한 궤적에서의 학습을 안내하며, 보정(calibration)이 신호 흡수 정도를 조절함으로써 보상으로 유도된 개선을 여러 대상 모델에 걸쳐 재사용할 수 있게 한다. 수학적 추론, 코드 생성, 지시 따르기에서 Qwen3 계열 대상 모델을 이용한 실험 결과, P-OPD는 대상 모델을 개선하고 대부분의 설정에서 기존 OPD보다 우수한 성능을 보였다. 1.7B에서 8B로의 전이에서 평균 Math Mean@16 및 Code Mean@8 점수는 OPD보다 각각 8.3점과 3.4점 높았다. 메커니즘 분석은 보상으로 유도된 감독 신호가 더 충실하며 적응을 제어할 수 있음을 보여 준다. 규모 간 및 세대 간 실험은 신호의 전이 가능성과 재사용 가능성을 확인해 주며, 다중 도메인 증류는 상승 효과와 도메인 간 간섭을 함께 드러낸다. 측정된 4B에서 8B 설정에서 프록시 탐색 이후 대상 모델의 적응에는 대상 모델 RL을 직접 수행하는 시간의 약 15\%가 소요되며, 신호를 반복 재사용하면 호환되는 모델 전반에서 일회성 탐색 비용이 상각된다. 이러한 결과는 상대적 정책 업데이트가 "한 번 탐색하고 여러 번 전이한다"는 사후 학습 패러다임을 위한 효과적이고 전이 가능하며 조합 가능한 감독 신호임을 뒷받침한다.

arXiv:2607.12713v2cs.SE공통 태그 Code Generation

코드에 고정된 리뷰 피드백이 대형 R 파일에서 정확성을 향상시키고 호스팅 편집 비용을 낮춘다

Code-Anchored Review Feedback Improves Correctness and Lowers Hosted Editing Cost on Large R Files

토큰은 생성형 AI(GAI) 코드 편집의 비용과 지연 시간을 좌우하며, 정확성은 편집의 유용성을 결정한다. 우리는 인간-AI 협업(HAIC) 채널인 검토자 피드백의 형식이 이 둘에 미치는 영향을 연구한다. 7개 모델과 36개의 합성 base-R 과제를 이용한 쌍체 실험에서, 동일한 수정 요청을 전체 목록 형태(대조군) 또는 FileMark의 내보내기 형태(처리군)로 전달하였다. 이 코드 리뷰 확장 도구는 각 코멘트를 해당 코드에 고정하고 그 코드를 인용한다. 일반적인 과제에서 총 토큰 수는 모델에 따라 -4.2%에서 +14.7%까지 변했으나, 출력 토큰은 Claude Opus에서 14.7%, Claude Sonnet에서 50.5\% 감소하였다. 출력 토큰의 비용이 입력 토큰의 5배이므로, 100줄을 초과하는 파일에서 편집의 호스팅 비용은 Opus에서 20.0%, Sonnet에서 46.3% 감소하였다. 처리군은 다섯 개의 로컬 모델 중 네 개에서 정확하게 실행된 비율을 24%에서 46%까지 높였다. 분해 실험은 이러한 이득이 표현이 아닌 형식에서, 그리고 대부분 인용된 코드에서 비롯됨을 보여 준다. 고정 위치가 잘못되면 정확성이 크게 떨어진다. 따라서 코드에 고정된 피드백은 앵커가 정확하다면 대형 R 파일에서 호스팅 편집 비용을 낮추고 성능이 낮은 모델의 정확성을 높인다.

arXiv:2609.22308v2cs.CV공통 태그 Code Generation

GameReplica: 비전-언어 에이전트를 위한 블랙박스 시각적 게임 복제 벤치마크

GameReplica: A Benchmark for Black-Box Visual Game Replication by Vision-Language Agents

코딩 에이전트 벤치마크는 통상 명시적 사양으로부터의 구현을 평가하므로, 규칙이 문서화되어 있지 않고 상호작용을 통해서만 접근 가능한 시스템을 에이전트가 발견하고 재현할 수 있는지는 열려 있는 문제로 남아 있다. 본 연구는 관측 가능한 행동과 결과를 가진 통제된 환경을 제공하는 웹 게임에서 이 능력을 연구하며, 종단 간 블랙박스 게임 복제를 위한 벤치마크 GameReplica를 소개한다. 이 벤치마크는 25개 웹 게임과 다섯 가지 핵심 메커니즘 계열에 걸친 125개 인스턴스로 구성되며, 각 게임은 다섯 가지 난이도로 구현된다. 컨테이너 격리 하에서 에이전트는 행동–스크린샷 인터페이스를 통해서만 대상 게임에 접근하고, 게임 탐색, 복제본 구현, 검증을 반복할 수 있으며, 자체 완결적으로 실행 가능한 복제본과 규칙 체크리스트를 제출한다. 이후 참조 기반 평가가 산출물을 규칙 일관성, 구현 일관성, 시각적 충실도에 대해 별도로 채점한다. 여섯 모델과 다섯 에이전트 런타임에 걸친 실험은 블랙박스 복제가 여전히 어렵다는 점을 보여 준다. Claude Opus 4.8이 71.6%로 가장 높은 Overall 점수를 달성하였고, 다른 모델들은 4.0%~43.0%를 얻었다. 모든 모델이 시각적 충실도에서 가장 높고 규칙 일관성에서 가장 낮은 점수를 받았으며, 이는 외형을 재현하는 것이 메커니즘을 복원하는 것보다 쉽다는 점을 시사한다. 난이도는 격차를 벌린다. L1에서 L5로 갈수록 하위 네 모델은 Overall 점수가 상대적으로 33%~63% 감소한 반면, 가장 강한 모델은 5% 미만 감소하였다. 평가된 구성에서 결과는 에이전트 런타임 간보다 모델 간에 더 크게 달랐으며, 약한 모델의 귀속된 실패 대부분은 복제본 코드를 작성하기 전의 탐색 단계에서 발생하였다. 자료와 대화형 데모는 https://qqqqqqby.github.io/GameReplica/ 에서 제공된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.