VeriHarness: 장기적 과업을 위한 에이전트 검증 스케일링
VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks
한국어 초록
대규모 언어 모델(LLM) 에이전트가 점점 더 복잡하고 장기적인 과업(long-horizon tasks)을 수행함에 따라, 그 결과를 검증하는 일은 점점 더 어려워지고 있습니다. 본 연구에서는 테스트 시점에 정답 참조나 채점 루브릭(grading rubrics)에 접근하지 않고도, 고정된 베이스 모델을 활용하여 검증 역량을 강화할 수 있는 방법을 연구합니다. 반복 샘플링을 통해 상호보완적인 정답 주장을 포함할 수 있는 복수의 롤아웃(rollout)을 얻을 수 있지만, 어떤 주장을 신뢰해야 할지 결정하기 위한 신뢰할 수 있는 검증 메커니즘이 필요합니다. 우리는 먼저 불일치가 올바른 대안을 드러내는 경우가 많은 반면, 합의는 오류를 은폐할 수 있음을 발견했습니다. 이러한 관찰 결과를 바탕으로, 생성기가 사용하는 기저 LLM에 워크스페이스, 증거 도구, 재사용 가능한 검증 기술(verification skills)을 제공하여 에이전트 검증기(agentic verifier)로 전환하는 VeriHarness를 제안합니다. 불일치 해결기(disagreement resolver)는 환경 증거를 바탕으로 상충하는 주장들을 대조 검증하고, 합의 도전기(consensus challenger)는 공유된 주장을 테스트하며 누락된 요구사항을 탐색합니다. 이들의 분석 결과는 최종 결과물의 선택과 수정을 안내합니다. 5개의 장기적 워크스페이스 벤치마크와 2개의 프론티어 모델에 걸쳐, VeriHarness는 평가된 베이스라인 중 가장 높은 선택 점수를 달성했습니다. 증거 기반 수정은 평균 성능을 더욱 향상시켜, 단일 롤아웃 대비 Gemini 3.5 Flash에서 6.2점, Claude Opus 4.8에서 6.4점의 성능 향상을 가져왔습니다. 나아가 검증 기술이 실패 피드백을 통해 스스로 개선될 수 있음을 보여줌으로써, VeriHarness가 장기적 에이전트 검증을 스케일링하기 위한 새롭고 핵심적인 접근 방식임을 입증합니다. 향후 에이전트 검증 연구를 지원하기 위해 10만 달러 이상의 비용을 들여 생성한 5개 벤치마크 및 두 모델 전체에 걸친 약 26,000개의 전체 롤아웃 풀을 공개합니다.
원문 초록
As LLM agents undertake increasingly complex, long-horizon tasks, verifying their outputs becomes increasingly challenging. We study how verification capability can be strengthened with a fixed base model, without access to reference answers or grading rubrics at test time. Repeated sampling yields multiple rollouts that can contain complementary correct claims, but we need a reliable verification mechanism to determine which claims to trust. We first find that disagreement often exposes correct alternatives, while consensus can conceal errors. These observations motivate VeriHarness, which turns the underlying LLM a generator uses into an agentic verifier by giving it a workspace, evidence tools, and reusable verification skills. A disagreement resolver checks competing claims against environmental evidence, while a consensus challenger tests shared claims and searches for omitted requirements. Their findings guide the selection and revision of the final artifact. Across five long-horizon workspace benchmarks and two frontier models, VeriHarness achieves the highest selection scores among the evaluated baselines. Evidence-backed revision further improves average performance, bringing gains over a single rollout to 6.2 points with Gemini 3.5 Flash and 6.4 points with Claude Opus 4.8. We further show that verification skills can self-improve from failure feedback, demonstrating VeriHarness as a novel and critical approach for scaling long-horizon agentic verification. We release the full pool of approximately 26,000 rollouts across all five benchmarks and both models, produced at a cost of over $100,000, to support future research on agentic verification.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
세계는 롤백하고, 반성은 유지하라: 장기 지평 LLM 에이전트를 위한 롤백 유도 반성(Rollback-Induced Reflection)
Rollback the World, Keep the Reflection: Rollback-Induced Reflection for Long-Horizon LLM Agents
대규모 언어 모델(LLM) 에이전트는 다단계 환경 상호작용을 통해 장기 지평 과제를 점점 더 많이 수행하지만, 단 한 번의 잘못된 행동만으로도 이후 상태와 관측이 바뀌어 오류가 시간에 따라 누적될 수 있다. 기존 방법은 변경된 환경 상태를 복구하지 않은 채 문맥만 고치거나, 이전 상태로 되돌리면서 유용한 경험을 버려, 실패 조건을 제거하는 것과 과거 실수를 반복하지 않는 것을 동시에 달성하기 어렵다. 우리는 신뢰할 수 있는 복구를 대신 롤백 경계 제어 문제로 보아, 언제 개입할지, 어디서 재개할지, 복구 후 어떤 정보가 남아야 하는지를 함께 결정해야 한다고 주장한다. 이 관점에 기반해, 선택한 이전 상태로 실행을 복원하면서 포기한 궤적에서 정제한 재사용 가능한 지식을 이어가 후속 결정을 이끄는 통합 복구 프레임워크인 Rollback-Induced Reflection(RIR)을 제안한다. 또한 롤백 깊이와 보존 기억에 대한 통합 연산자로 복구를 특성화하여, 상태 복원과 지식 보존에 대한 일반적 관점을 제공한다. 세 가지 장기 지평 벤치마크 실험에서 RIR은 여러 LLM 백본에서 평균 과제 성능을 일관되게 향상시키며, 구조화된 반성 기억이 유용한 경험을 보존하고 선택적 롤백이 효율적인 복구를 가능하게 함을 보여준다.
FlowState: 장기 작업 대규모 언어 모델(LLM) 에이전트를 위한 메모리로서의 실행 상태
FlowState: Execution State as Memory for Long-Horizon LLM Agents
장기 작업(long-horizon tasks)을 수행하려면 대규모 언어 모델(LLM) 에이전트가 이전 상호작용의 정보를 지속적으로 활용해야 합니다. 그러나 전체 히스토리를 유지하면 컨텍스트 비용이 증가하는 반면, 이를 압축하면 나중에 필요한 세부 정보를 잃을 위험이 있으며, 과거 정보의 관련성은 작업이 진행됨에 따라 분명해지는 경우가 많습니다. 이러한 문제를 해결하기 위해, 요청 전반에 걸쳐 유지 및 재방문할 수 있는 메모리로 실행 상태를 다루어 현재의 의사결정과 과거 정보의 재사용을 통합하는 FlowState를 제안합니다. FlowState는 의미론적 유형이 지정된 상태 노드, 이들의 관계, 원시 도구 관측치에 대한 참조를 보존하여 지속적인 유지와 온디맨드 접근을 분리합니다. 단일 실행 루프 내에서 증분 상태 업데이트(ISU)는 새로운 입력과 피드백을 기반으로 현재 상태를 유지하고, 점진적 상태 접근(PSA)은 추론 중에 필요에 따라 과거 상태와 뒷받침하는 근거를 점진적으로 드러냅니다. 이러한 메커니즘은 에이전트가 새로운 정보에 비추어 이전 결정을 재평가하고 후속 조치를 안내할 수 있도록 지원합니다. 동일한 DeepSeek-V4-Flash 모델을 사용하는 전체 컨텍스트 기준선과 비교했을 때, FlowState는 MemoryArena의 평균 성공률과 $τ^3$-Bench의 평균 통과율을 각각 4.55%p 및 13.95%p 향상시키는 동시에 전체 토큰 소비량을 43.2% 및 40.6% 줄였습니다. 이러한 결과는 장기 작업에서 FlowState의 성능 및 효율성 이점을 입증합니다.
EvoHarness-RL: 자기 진화형 에이전트를 위한 런타임 하네스 조율 학습
EvoHarness-RL: Learning Runtime Harness Coordination for Self-Evolving Agents
장기 작업(long-horizon) 대규모 언어 모델(LLM) 에이전트는 상태 유지, 진행 상황 추적, 실패 복구, 확장된 상호작용 전반에 걸친 경험 재사용을 위해 외부 실행 지원에 점점 더 많이 의존하고 있습니다. 그러나 기존 하네스 및 그 사용 방식은 특정 환경에 맞춤화되어 프롬프트, 휴리스틱 또는 시스템별 규칙을 통해 제어되는 경우가 많아 에이전트와 하네스 조율을 공동으로 최적화하기 어렵습니다. 본 논문에서는 환경별 하네스 구현을 공유 정책 인터페이스와 분리하는 통합 프레임워크인 EvoHarness-RL을 제안합니다. EvoHarness-RL은 외부 지원을 신념, 진행, 경험(Belief, Progress, and Experience, BPE) 작업 공간으로 구성하고, 이 상태에 접근 및 업데이트하기 위한 네 가지 간결한 하네스 행동을 노출합니다. 먼저 BPE를 추론 시점의 스캐폴드로 인스턴스화한 다음, 지도형 초기화에 이어 비용 인식 GRPO를 통해 하네스 조율을 학습 가능하도록 만듭니다. 이종의 장기 작업 전반에 걸쳐 EvoHarness-Base는 프론티어 모델의 평균 성공률을 10.0%p 향상시키며, EvoHarness-RL은 가장 강력한 오픈소스 기준선보다 8.5%p 뛰어난 성능을 보임과 동시에 더 높은 강화학습(RL) 롤아웃 효율성과 보지 못한 작업에 대한 더 강력한 일반화 성능을 보여줍니다. 분석 결과, 정책의 역량이 향상됨에 따라 학습을 통해 에이전트가 잦은 스캐폴드 사용에서 선별적이고 환경 의존적인 하네스 접근으로 점진적으로 전환되는 반면, 외부 작업 공간은 작업 실행과 일반화를 더 잘 지원하기 위해 지속적으로 진화하고 개선되는 것으로 나타났습니다. 종합적으로 이러한 결과는 장기 작업 에이전트가 외부 스캐폴딩 자체뿐만 아니라 비용 인식 정책의 일부로서 외부 지원과 조율하는 방법과 시점을 학습함으로써 이점을 얻는다는 점을 보여줍니다.
메모리를 넘어서: 명시적 신념 상태를 활용한 장기적 에이전트 제어
Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States
대규모 언어 모델(LLM) 에이전트(agent)는 점점 더 복잡한 작업을 수행할 수 있게 되었지만, 상호작용 이력을 메모리로 구성하는 기존 방식은 현재 세계에 대한 일관된 이해를 보장하지 못합니다. 본 논문에서는 에이전트의 의사결정 맥락으로서 명시적 신념 상태(belief state)를 구성하고 지속적으로 유지하는 추론(inference) 시점 프레임워크인 PoS를 소개합니다. 각 신념은 현재 세계 상태에 대한 추정과 미해결된 작업 요구사항을 결합하여, 에이전트가 여전히 무엇을 학습하고 달성해야 하는지를 명시화합니다. 이러한 신념을 신뢰할 수 있고 실행 가능한 상태로 유지하기 위해, PoS는 일관성을 검증(validation)하고 작업 진행 상황을 모니터링하여 에이전트가 목표를 향한 유의미한 진전 없이 행동을 지속하는 '신념 갇힘(Belief Trapping)' 현상을 감지합니다. 이후 갇힘 패턴과 미해결된 작업 요구사항의 유형 모두에 맞추어 복구가 이루어집니다. 실행 및 진단을 아우르는 4개의 벤치마크(benchmark)에 걸친 실험 결과, PoS는 세 가지 LLM 백본 모두에서 모든 벤치마크에 걸쳐 가장 높은 종합 성능을 달성함을 보여줍니다. 소거 연구(ablation)를 통해 일관성 검증과 복구의 중요성을 입증하였으며, 문맥 스케일링(context-scaling) 실험에서는 문맥 증가에 대한 견고성을 확인했습니다. 종합적으로 이러한 결과는 단순한 이력 유지 및 압축을 넘어, 장기적(long-horizon) 문맥 관리의 기반으로서 신념 구성과 지속적 유지의 유효성을 뒷받침합니다.
PolicyGuard: A Dialogue-Grounded Sub-Agent Verifier for Policy Adherence in LLM Agents
Agentic Abstention: Do Agents Know When to Stop Instead of Act?
토론
이 논문과 연결된 포럼 글이 아직 없습니다.