arXiv:2606.11522v1 cs.AI

장기 연구 에이전트를 위한 검색 규율

Search Discipline for Long-Horizon Research Agents

Adithya Srinivasan, Devesh Paragiri

제출 2026-06-09

한국어 초록

자동 연구(autoresearch) 에이전트는 이제 지표를 기준으로 과학적 후보를 제안, 평가 및 선택하며, 해당 지표는 일반적으로 영역, 슬라이스 또는 코호트의 이질적인 공간에서 축소된 집계값입니다. 우리는 과학적 타당성이 그 분해된 구조에 존재할 때, 집계값이 잘못된 후보를 1위로 순위 매길 수 있음을 보여줍니다. 총괄 수치는 개선되는 반면 하부 구조는 역전되므로, 수치에 기반한 결정은 모델을 조용히 망가뜨리는 후보를 받아들이게 됩니다. 이러한 실패는 도메인 특정적이지 않습니다. 이는 후보의 타당성이 다차원적이지만 검증기가 단일 축소일 때마다 나타납니다. 우리는 생태계 인구통계(Ecosystem Demography) 모델의 화재 모델 작업에서 이러한 역전을 입증합니다. 최고 점수를 받은 후보와 약간 낮은 점수를 받은 후보는 전역 점수 측면에서 서로 노이즈 범위 내에 있지만, 최고 점수의 후보는 보호된 북부 지역(boreal regions)을 붕괴시키는 반면 다른 후보는 이를 보존합니다. 이들을 구분하는 것은 총괄 수치가 아니라 지역별 행동입니다. 이러한 결정은 후보를 생성한 에이전트에게 맡겨져서는 안 됩니다. 점수를 최적화하는 에이전트는 점수가 잘못되었다는 사실을 발견할 가능성이 가장 낮은 주체이며, 에이전트가 멈춘 후에는 프롬프트에 남은 턴이 없습니다. 우리는 결정을 외부 제어 루프로 이동시켜, 각 후보의 분해된 행동을 감사하고 에이전트가 결정한 후에 작동하도록 합니다. 이는 에이전트가 받아들였을 후보의 순위를 낮출 수 있고, 에이전트가 완료되었다고 선언한 실행을 다시 열 수 있습니다. 우리의 기여는 역전 발견 그 자체와, 점수 대신 검토 가능한 후보 효과 증거에 기반하여 결정을 내리는 검색 규율(search-discipline) 프로토콜입니다.

원문 초록

Autoresearch agents now propose, evaluate, and select scientific candidates against a metric, and that metric is usually an aggregate reduced over a heterogeneous space of regions, slices, or cohorts. We show that when scientific validity lives in that disaggregated structure, the aggregate can rank the wrong candidate first. The headline number improves while the structure underneath inverts, so a decision made on the number accepts a candidate that quietly breaks the model. The failure is not domain-specific. It appears wherever a candidate's validity is multi-dimensional but its verifier is a single reduction. We demonstrate the inversion on a fire-model task in the Ecosystem Demography model. The highest-scoring candidate and a slightly lower one are within noise of each other on global score, yet the top-scoring one collapses the protected boreal regions while the other preserves them. What separates them is the per-region behavior, not the headline number. This decision should not be left to the agent that produced the candidates. The agent optimizing the score is the last party likely to catch the score being wrong, and a prompt has no remaining turn once the agent has stopped. We move the decision to an external control loop that audits each candidate on its disaggregated behavior and acts after the agent has decided. It can demote a candidate the agent would have accepted, and it can reopen a run the agent had declared finished. Our contribution is the inversion finding itself, and a search-discipline protocol that decides on reviewable candidate-effect evidence instead of the score.

요약

자동 연구 에이전트가 집계된 지표만으로 후보를 선택할 때 전체 점수는 개선되지만 내부 구조가 무너지는 역전 현상이 발생할 수 있음을 보여준다. 이를 해결하기 위해 에이전트 외부의 제어 루프를 도입하여 분해된 행동을 감사하고 점수 대신 검증 가능한 증거에 기반하여 결정을 내리는 검색 규율 프로토콜을 제안한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11522v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15993v1cs.AI공통 태그 Model Selection, Sequential Decision Making

핸드오프 곡선: 멀티턴 LLM 라우팅에서의 초기 선택, 사후 핸드오프 및 지도 타깃

Handoff Curves: Initial Selection, Later Handoff, and Supervision Targets in Multi-turn LLM Routing

본 연구에서는 여러 턴(turn)에 걸친 대규모 언어 모델(LLM) 태스크에서 초기 모델(model) 선택, 사후 핸드오프(handoff), 그리고 학습(training) 타깃이 성공률과 비용에 미치는 영향을 연구합니다. 핸드오프 단계 변화에 따른 태스크 성공률과 비용을 기록하는 핸드오프 곡선을 활용하여 여러 라우터 아키텍처를 비교합니다. 연구진이 구축한 데이터셋(dataset)은 BFCL, MultiWOZ, $τ$-retail 전반에 걸친 3개 Qwen 모델의 34,204건의 완전한 실행 기록을 포함하며, 라우팅 결정을 위한 오프라인 지도 정보를 제공합니다. 주요 비교 분석에서 Qwen3.5 35B-A3B를 시작 모델로 사용했을 때, 사후 핸드오프를 허용하는 것은 BFCL 또는 MultiWOZ에서 초기 선택 대비 효용 개선을 보이지 못했으며 다양한 비용 가중치 범위에 걸쳐 BFCL에서 비용을 증가시켰습니다. 지도 타깃을 변경하면 자체 데이터셋과 TwinRouterBench 모두에서 라우터 성능이 향상됩니다. 자체 데이터셋의 경우 노이즈가 있는 학습 성공 곡선을 단조 적합(monotone fit)으로 대체함으로써 보고된 작동 지점 전반에 걸쳐 동일한 비용에서 성공률이 0.2~4.1%포인트 향상되었습니다. TwinRouterBench에서는 남은 작업 및 앞으로 닥칠 어려운 단계에 필요한 모델 성능을 기술하는 타깃을 구성했습니다. 벤치마크의 단계별 라벨로 학습하는 것과 비교하여, 이러한 타깃은 전체 정적 뱅크에서 궤적 통과 점수를 7.8%포인트, 비용 절감 효과를 6.3%포인트 높였습니다. 이 타깃으로 학습된 라우터의 실제 배포에서는 인스턴스당 0.59달러의 라우터 비용으로 100개 인스턴스 중 79개를 해결했습니다.

arXiv:2610.02525v1cs.AI공통 태그 Sequential Decision Making, research agents

다음에 무엇을 탐구할지 학습하기: 장기 연구 에이전트를 위한 메타 추론

Learning What to Investigate Next: Meta-Reasoning for Long-Horizon Research Agents

장기(long-horizon) 연구 에이전트(agent)는 증거가 축적됨에 따라 어떻게 탐구할지뿐만 아니라 다음에 무엇을 탐구할지도 결정해야 합니다. 이러한 결정은 긴 실행 궤적(execution trace) 내에서 드물게 발생하며, 그 결과가 여러 차례의 탐구 이후에 나타날 수 있기 때문에 학습하기 어렵습니다. 본 논문에서는 연구 자원 배분과 실행을 분리하는 계층적 아키텍처인 반복 연구 에이전트를 위한 메타 추론(Meta-reasoning for Iterative Research Agents, MIRA)을 소개합니다. 외부 루프(outer-loop) 메타 추론기는 영구 연구 기록에서 컨텍스트를 큐레이션한 다음, 다음 탐구를 위한 작업 지시서를 작성하거나 에피소드를 종료합니다. 새로운 내부 루프(inner-loop) 실행기는 각 작업 지시서를 수행하여 실행을 메타 추론 행동 간의 전이 과정 일부로 만듭니다. 정책 학습(policy training) 없이도 MIRA는 장기 추론(inference)을 개선하고 정리 증명 및 개방형 신경망 아키텍처 연구에서 추가 연산량을 더 효과적으로 배분합니다. 또한 MIRA의 결정 경계는 신용 할당(credit assignment)을 위한 자연스러운 단위를 제공합니다. 각 경계에서 부분 상태(partial state)로부터 예상 잔여 보상을 예측하도록 생성형 크리틱(generative critic)을 학습시켜 토큰(token) 수준의 대안들보다 우수한 성능을 보였습니다. 교차 환경 사전학습은 예측과 적응을 개선하여 부분적 진행 상황의 가치를 평가하기 위한 전이 가능한 사전 분포(prior)를 산출합니다. 이 사전 분포를 활용하여 별도의 크리틱 모델 없이 잔여 보상을 예측하고 다음 탐구를 선택하도록 공동 학습되는 생성형 액터-크리틱(actor-critic)인 MIRA-AC를 초기화합니다. MIRA-AC는 정책 최적화를 메타 추론 결정에 집중시켜, 이들이 시작하는 더 긴 실행 궤적을 직접 최적화하지 않고도 효율적인 장기 강화학습(reinforcement learning)을 가능하게 합니다. 모델 자체의 프록시 힐클라이밍(hill-climbing) 신호로 MIRA-AC를 학습시키면 4개의 자동 연구(autoresearch) 환경 전반에서 골드 성능이 향상되며, 액터는 교차 환경 가치 초기화(initialization)를 통해 전이됩니다. 종합적으로, 이러한 결과들은 장기 자율 연구를 지휘하기 위한 명시적 정책으로서 메타 추론을 학습할 수 있음을 보여줍니다.

arXiv:2609.22951v1cs.AI공통 태그 Model Selection, Sequential Decision Making

AgentRouter: 비용 최적 다단계 에이전트 워크플로우를 위한 이종 모델 라우팅

AgentRouter: Heterogeneous Model Routing for Cost-Optimal Multi-Step Agentic Workflows

기업용 에이전트 시스템이 궤적의 모든 단계를 프론티어 모델로 라우팅하면, 더 작은 모델도 동등하게 처리할 수 있는 하위 과제에 추론 예산의 60–80%를 낭비한다. 기존 라우팅 솔루션은 단일 턴(single-turn) 쿼리 할당을 최적화하지만, 에이전트 워크플로우에만 있는 한 속성을 간과한다. 단일 궤적 안에서 하위 과제 복잡도가 크게 달라진다는 점이다. 계획 단계는 프론티어급 추론을 요구할 수 있는 반면, 이어지는 포맷팅 단계는 7B 모델만으로 충분할 수 있다. 우리는 단계 수준(step-level) 모델 라우팅을 에이전트 궤적에 대한 순차 할당 문제로 형식화하고 AgentRouter를 제안한다. AgentRouter는 경량 분류기(1,200만 파라미터, A100 GPU에서 단계당 5ms 미만 오버헤드)로, 라우팅 시점에 추출 가능한 다섯 가지 특징을 사용해 각 궤적 단계를 네 가지 모델 계층 중 하나에 매핑한다. 계획, 코딩, 연구, 데이터 분석 과제에 걸친 50,000개의 주석이 달린 에이전트 궤적 단계로 학습된 AgentRouter는 프론티어 전용 baseline 대비 72% 비용 절감을 달성하며, 프론티어 전용 품질의 97.3%를 유지한다(End-to-end 과제 완료율에서 3% 미만 저하). 단계별 라우팅 정확도는 최소 복잡도 단계에서 91%, efficient 계층 단계에서 85%에 이르며, 더 어려운 중간·프론티어 계층에서는 76–82%이다. 동일 벤치마크에서 RouteLLM과 FrugalGPT(단계별 적용)는 각각 31%와 44%의 비용 절감에 그친다. 이는 단일 턴 학습 신호가 궤적 수준의 품질 의존성을 포착하지 못하기 때문이다.

arXiv:2607.22644v1cs.AI공통 태그 Model Selection, Sequential Decision Making

DocHRL: 비용 최적화 문서 분류를 위한 계층적 강화학습 프레임워크

DocHRL: A Hierarchical Reinforcement Learning Framework for Cost-Optimised Document Classification

실제 문서 분류 파이프라인은 일반적으로 복잡도나 유형과 관계없이 들어오는 모든 문서에 동일한 모델 시퀀스를 적용한다. 이로 인해 연산 자원과 인적 자원이 비효율적으로 사용된다: 단순한 문서는 과도하게 처리되는 반면, 어려운 문서는 충분한 검토를 받지 못할 수 있다. 우리는 문서별로 가장 비용 효율적인 분류 정책을 적응적이고 동적으로 선택하는 방법을 학습하는 계층적 강화학습 프레임워크인 DocHRL을 제안한다. DocHRL은 문서 분류를 2단계 정책 계층을 갖는 순차적 의사결정 문제로 공식화한다: 상위 수준 정책은 광범위한 옵션(비전 분류기, LLM, OCR, 인간 개입 검토) 중에서 선택하고, 옵션별 하위 정책은 호출할 구체적인 모델이나 도구를 선택한다. 보상 신호는 추론 비용, 오분류 비용, 인간 라벨링 비용을 포착하는 총 기대 비용의 음수이다. RVL-CDIP 벤치마크에서 Proximal Policy Optimisation으로 학습된 DocHRL은 16개 문서 클래스에 걸쳐 macro F1 0.973을 달성하는 동시에, 고정된 독립형 분류기가 발생시키는 훨씬 높은 비용과 비교하여 문서당 평균 비용을 2.74 정규화 단위로 줄인다. 우리 결과는 비용 인식 강화학습이 문서 이해 시스템에서 분류 성능과 운영 효율성을 동시에 향상시킬 수 있음을 보여준다.

arXiv:2607.23896v1cs.AI공통 태그 Model Selection, Sequential Decision Making

자율 재료 발견을 위한 비용 인식 회수 경로 식별 및 베이지안 최적화

Cost-Aware Recovery-Pathway Identification and Bayesian Optimization for Autonomous Materials Discovery

자율 실험실은 실험 수행을 자동화하지만, 캠페인은 또한 어떤 회수 경로가 최적화할 가치가 있는지 결정해야 한다. 우리는 이를 이질적인 실험 비용 하에서 이산적인 경로 식별 단계와 경로 내 연속 최적화 단계를 갖는 순차적 의사결정 문제로 공식화한다. 우리의 구현인 Coactive learning은 EC2(Golovin et al., 2010)에서 영감을 받은 비용 민감 베이지안 가설 판별 정책과 가우시안 프로세스 베이지안 최적화(Srinivas et al., 2010)를 결합한다. 명시적으로 진술된 가정 하에서, 고정 예산 캠페인 시도 1회의 기대 지출은 기대 경로 식별 비용과 상한이 설정된 경로 내 최적화 예산의 합으로 한정된다. 우리는 PNNL의 CICERO 선택적 침전 연구(Ritchhart et al., 2026)에서 보고된 선별된 결과로 제약된 합성 벤치마크(benchmark)에서 이 방법을 평가한다. 이 방법은 정답 경로에 대한 오라클 레이블을 받지 않으면서 첫 번째 플레이트로 경로를 판별하는 강력한 split-plate 기준선(baseline) 및 오라클 경로 베이지안 최적화 기준과 비슷한 성능을 보인다. 이 방법에는 후보 가설 공간과 진단 가능도(likelihood) 모델이 주어진다. NdFeB에서 영감을 받은 사례에서, 이 방법은 처음에 그럴듯하지만 열등한 수산화물 경로를 선택하는 commit-first 기준선의 시뮬레이션 페널티를 피한다. 이 가상의 잘못된 선(先)확정 시나리오는 CICERO에서 보고된 수산화물-옥살레이트 성능 대비에 의해 동기화된다. 우리는 이러한 결론이 가정된 비용 모델에 대해 얼마나 민감한지 특성화한다. 코드와 벤치마크는 오픈 소스이다.

arXiv:2607.14277v1cs.CL공통 태그 Model Selection, Sequential Decision Making

멀티헤드 잠재 제어: LLM 에이전트 의사결정을 위한 통합 인터페이스

Multi-Head Latent Control: A Unified Interface for LLM Agent Decision Making

대규모 언어 모델(LLM)은 점점 더 에이전트로 배치되고 있지만, 신뢰할 수 있는 에이전트적 행동은 다음 토큰 예측 이상을 요구한다. 추론 시점에 에이전트는 현재 추론을 계속할지, 더 강한 모델에 위임할지, 추가 정보를 요청할지, 외부 도구를 호출할지, 주어진 설정 하에서 기권할지 결정할 수 있어야 한다. 기존 접근법은 프롬프트 수준 라우팅, 외부 오케스트레이션, 또는 과제별 미세조정을 통해 이러한 결정을 처리하며, 주로 입력 측 신호에 의존하고, 모델 백본이 진화함에 따라 유지 비용이 크고 어려운 경우가 많다. 우리는 이러한 제어 결정을 모델의 잠재 생성 과정에서 직접 추론할 수 있는지 묻는다. 우리는 Multi-Head Latent Control을 도입한다. 이는 고정된 LLM 또는 VLM의 은닉 상태(hidden-state) 궤적을 읽어 배치 시점 제어 신호를 생성하는 경량 층이다. Capability Head는 현재 모델이 해당 인스턴스를 해결할 수 있는지, 더 강한 협력자에게 위임해야 하는지 예측하고, Resolution Head는 적절한 해결 결정—Clarification, Tool Use, Abstention, Direct Answering—을 예측한다. 두 헤드는 모두 동일한 고정 LLM 백본의 잠재 trace만으로 학습되며, 모델을 수정하지 않고 사후 적응(post hoc adaptation)을 가능하게 한다. 언어 및 비전-언어(vision-language) 설정 전반에 걸쳐 Multi-Head Latent Control은 다중 모델 시스템의 품질-비용 tradeoff를 일관되게 개선하며, 부분 생성에서의 조기 handoff와 더 정확한 개입 결정을 가능하게 한다. 라우팅 실행(소형 + 대형 모델)에서 AndroidWorld에서는 대형 모델 사용을 최대 90.7% 줄이고, 벤치마크 평균 27–53% 줄이면서 대형 모델 성능의 대부분을 유지한다. 또한 학습된 제어 신호는 도구 사용 결정 품질을 개선하여, 상대 점수 최대 +158% 향상과 필수 도구 호출 누락 65.5% 감소를 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.