arXiv:2606.17871v1 cs.AI

StepGuard: 단일 단계 보정을 통한 웹 탐색 가드

StepGuard: Guarding Web Navigation via Single-Step Calibration

Zhihao Cui, Yuchen Zhang, Xiyang Sun, Yaxiong Wang, Li Zhu, Jinpeng Hu, Liu Liu, Mengjia Li, Yujiao Wu

제출 2026-06-16

한국어 초록

웹 탐색은 에이전트가 자연어 목표를 따르고, 웹 페이지와 상호작용하며, 정확한 답변을 생성해야 한다. 최근 비전-언어 모델과 강화학습을 활용한 발전에도 불구하고, 기존 방법은 보상 불일치와 오류 전파로 인해 단일 단계 취약성을 여전히 겪는다. 보상 얽힘을 해결하기 위해, 우리는 DDPO(Dynamic Dual-Policy Optimization)를 설계한다. 이는 탐험을 위한 내비게이션 우선 모드와 질의응답을 위한 답변 우선 모드 사이를 동적으로 전환하여 보상 충돌을 완화한다. 단일 단계 오류를 보정하기 위해, 우리는 CANR(Confidence-Guided Adaptive Navigation Reflection)을 제안한다. 이는 단계별 신뢰도를 추정하고, 필요할 때만 리플렉션을 트리거하며, 대조 보상을 사용해 자기 수정을 유도하여 단일 단계 부정확성을 보정하는 메커니즘이다. 위를 주요 구성 요소로, 우리는 마침내 StepGuard를 개발한다. 이는 단일 단계 보정을 통한 웹 탐색 가드를 목표로 하는 새로운 프레임워크이다. 실험 결과, 우리 접근법은 탐색 및 답변 정확도를 크게 향상시키며, 표준 웹 탐색 벤치마크에서 새로운 최첨단 성능을 기록한다.

원문 초록

Web navigation requires agents to follow natural language goals, interact with web pages, and produce accurate answers. While recent advances leverage vision-language models and reinforcement learning, existing methods still suffer from single-step fragility due to reward misalignment and error propagation. To tackle the reward entanglement, we design Dynamic Dual-Policy Optimization (DDPO), which dynamically switches between a navigation-first mode for exploration and an answer-first mode for question-answering to mitigate reward conflict. To calibrate the single-step error, we propose Confidence-Guided Adaptive Navigation Reflection (CANR), a mechanism that estimates per-step confidence, triggers reflection only when necessary, and uses contrastive rewards to encourage self-correction to calibrate the single-step inaccuracy. With the above as the main components, we finally develop our StepGuard, a new framework of Guarding Web Navigation via Single-Step Calibration. Experiments demonstrate that our approach significantly improves navigation and answer accuracy, setting new state-of-the-art performance on standard web navigation benchmarks.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.17871v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27035v1cs.AI공통 태그 Question Answering, Deep Reinforcement Learning, Sequential Decision Making, Instruction Following

분해된 하위 과제를 활용한 강화학습

Reinforcement Learning with Decomposed Subtasks

언어 모델(LM) 에이전트를 학습시키기 위한 GRPO(Group Relative Policy Optimization) 및 관련 정책 그래디언트(policy-gradient) 방식은 정책 업데이트가 이루어지기 전 전체 멀티턴 롤아웃을 단일 스칼라 궤적 보상으로 압축합니다. 특히 희소하고 지연된 환경 피드백 하에서 과제가 서로 다른 여러 기술로 구성되어 있을 때, 이러한 압축은 손실을 초래합니다. 즉, 옵티마이저는 어떤 역량이 결과를 이끌어냈으며 이것이 행동을 어떻게 변화시켜야 하는지를 암묵적으로 추론해야만 합니다. 본 논문에서는 올바른 프리미티브가 더 나은 스칼라 보상이 아니라 '분해'라고 주장합니다. 즉, 정책 업데이트에 들어가기 전에 궤적 보상을 하위 과제(subtask)에 따라 분할해야 합니다. 본 연구에서는 RLDS(Reinforcement Learning with Decomposed Subtasks)를 소개하며, 그 핵심은 SDAE(Subtask-Decomposed Advantage Estimation)입니다. SDAE는 스칼라 GRPO 어드밴티지를 대체하는 기법으로, 고정된 분류 체계에 따라 궤적 보상을 하위 과제별 몫으로 분할하고, 하위 과제별 그룹 상대적 어드밴티지를 계산하며, 각 하위 과제의 어드밴티지를 중요도에 따라 가중하여 토큰별 신용을 배분하되, 반추(reflection)를 통해 해당 하위 과제의 실행이 결정적인 영향을 미쳤다고 표시된 스텝 주변에 이를 집중시킵니다. 우리는 4개의 에이전트 벤치마크인 FrozenLake(희소 그리드 탐색), HotpotQA(멀티홉 질의응답, 단일 검색 도구), ScienceWorld(긴 주기 구현 과학 환경), DeepResearch(장문 연구, 4개 도구, 복합 루브릭 보상)에서 평가를 수행했습니다. 학습 중 산출된 이질성(heterogeneity) 진단 결과는 분해가 어디에서 성과를 내는지를 보여줍니다. 성능 향상은 하위 과제 이질성과 비례하여 확장되었으며, 이질성이 높은 과제인 ScienceWorld(+11.5점, 대응 표본 부트스트랩 95% CI [+9.8, +13.3])와 FrozenLake(+9.8점, [+7.0, +12.8])에서 가장 컸고, 진단 결과 회수할 여지가 거의 없다고 예측된 HotpotQA 및 DeepResearch에서는 오차 범위 내에 머물렀습니다. 또한 ScienceWorld는 RLDS 하에서 스칼라 GRPO 대비 연산 효율도 더 높았는데(스텝당 벽시계 시간 -10.9%), 이는 긴 롤아웃이 고정된 '반추 및 채점(reflect-and-grade)' 오버헤드를 분할 상각하기 때문입니다.

arXiv:2609.27532v1cs.LG공통 태그 Deep Reinforcement Learning, Sequential Decision Making, Instruction Following

ProCredit: 에이전트 강화학습에서 결과 보상에서 진행 크레딧으로

ProCredit: From Outcome Rewards to Progress Credit in Agentic Reinforcement Learning

장기 에이전트 작업은 에이전트가 일련의 도구 호출을 통해 환경을 수정해야 하며, 성공은 최종 상태로 결정된다. 일반적인 방법은 마지막에 단일 결과 보상(outcome reward)을 부여하고 동일한 작업에 대해 샘플링된 궤적(trajectory)들을 비교한다. 그 결과 성공 궤적이 없는 그룹은 학습 신호를 주지 않고, 실패한 시도는 완료에 얼마나 가까웠는지 구분할 수 없으며, 작업을 진전시키는 턴과 환경만 조회하는 턴이 같은 크레딧을 받는다. 선행 연구는 비교 단위를 궤적에서 스텝(step)으로 세분화하거나 중간 신호를 위해 보상 모델을 학습한다. 전자는 여전히 최종 성공만으로 신호를 얻고, 후자는 모델로 이를 추정한다. 우리는 성공을 판정하는 수락 검사(acceptance check)를 중간 상태에서도 실행할 수 있음을 관찰했으며, 따라서 진행(progress)은 결과만큼 검증 가능하다. 우리는 이 검증된 진행을 크레딧으로 전환하는 ProCredit을 제안한다. ProCredit은 각 턴 후 수락 검사를 다시 실행하고, 진행 변화량에 따라 턴에 보상을 부여하며, 이 보상으로 동일 작업에 대한 여러 시도 간과 궤적 내 턴 간 모두에 크레딧을 할당한다. AppWorld에서 세 가지 규모의 Qwen3.5 베이스 모델을 시작점으로 할 때, ProCredit은 두 테스트 세트 모두에서 모든 규모에서 작업 완료율 기준으로 결과 보상 기준선과 진행 기반 기준선을 능가하며, 4B에서는 가장 강한 결과 보상 기준선보다 4.1퍼센트포인트 높고, 두 번째 환경에서도 같은 방향의 개선이 나타난다. ablation은 궤적 점수에 최종 진행만 더하는 것만으로는 성능이 개선되지 않음을 보여 주며, 이득은 진행이 발생한 턴에 크레딧을 부여하는 데서 온다.

arXiv:2609.27987v1cs.LG공통 태그 Question Answering, Deep Reinforcement Learning, Sequential Decision Making

PCQC: 다턴 의료 대화를 위한 특권적 반사실적 질문 크레딧

PCQC: Privileged Counterfactual Question Credit for Multi-Turn Medical Dialogue

대규모 언어 모델(LLM)은 의료 질의응답에서 상당한 진전을 이루었지만, 효과적인 의료 대화를 위해서는 관련 환자 정보를 드러내는 질문을 하는 법을 학습하는 것도 필요하다. 이러한 대화 정책을 학습하기 위해 흔히 최종 진단 정확도에 기반한 지도 미세조정과 강화학습(RL)을 결합하는 파이프라인을 사용한다. 그러나 이러한 결과 기반 감독은 개별 질문의 기여를 직접 구분하지 못하며, 실행되지 않은 대안 질문에 대한 질문 수준의 피드백도 제공하지 않는다. 이 공백을 해소하기 위해, 학습 중 실행되지 않은 질문으로부터도 학습하기 위해 특권 환자 정보를 사용하는 PCQC(Privileged Counterfactual Question Credit)를 제안한다. 학습 중 PCQC는 특권 환자 사실을 이용해 대안 질문에 대한 답을 구성함으로써, 동일한 대화 상태에서 대안 질문을 직접 비교 가능하게 한다. 고정된 진단 점수기는 각 결과 질문-답변 쌍이 올바른 진단을 얼마나 강하게 뒷받침하는지에 따라 그 진단적 유용성을 평가한다. PCQC는 이러한 비교를 상대적 질문 크레딧으로 변환하여 정책이 어떤 질문을 선호해야 하는지 가르치며, 실행되지 않은 대안에 대한 완전한 롤아웃 없이도 실행된 질문과 실행되지 않은 질문 모두에 결과 기반 RL과 함께 직접 감독한다. 네 개의 의료 벤치마크에 걸친 광범위한 실험에서 PCQC는 평균 진단 정확도 63.10%를 달성하여 GRPO와 ATPO보다 각각 4.38 및 4.21퍼센트포인트 높은 성능을 보였다. 이러한 향상은 GRPO보다 문진 턴 수가 33.1% 적은 상태에서 달성되었다.

arXiv:2609.24174v1cs.AI공통 태그 Deep Reinforcement Learning, Sequential Decision Making, Instruction Following

CREDO: 재생-보정된 크레딧 할당을 위한 분산 유도 루브릭 진화

CREDO: Variance-Guided Rubric Evolution for Replay-Corrected Credit Assignment

장기적(Long-horizon) 언어 에이전트는 희소한 최종 피드백을 받는 반면, 중간 루브릭(rubric)은 진행 상황에 대해 구조화되어 있지만 잠재적으로 잘못 명시될 수 있는 평가를 제공합니다. 재설정 가능한 학습 환경에서 반사실적 지속 롤아웃(counterfactual continuation rollout)을 통해 국소적 크레딧을 측정할 수 있지만, 완전한 재생(replay)은 비용이 많이 듭니다. 본 논문에서는 진화하는 의미론적 루브릭과 선택적 실행 기반 크레딧 보정을 결합한 프레임워크인 Credo를 제안합니다. 동결된 판별기(judge)는 가시적인 전이(transition)를 루브릭 특징에 매핑하고, 크레딧 헤드는 실현된 전이와 관련된 기대 최종 보상의 변화를 예측합니다. 독립적으로 샘플링된 양측 재생은 기록된 포함 확률을 사용하여 예측 잔차를 보정합니다. 본 연구는 조건부 비편향성과 두 가지 설계 선택(유지할 루브릭 특징 및 고정된 기대 재생 예산 할당 위치)을 연결하는 분산 분해를 유도합니다. 그 결과로 도출된 기준은 정책-점수 민감도와 누락된 재생 범위로 예측 오차에 가중치를 부여하며, 해당 할당 규칙은 지속 비용까지 추가로 고려합니다. 또한 최종 LOO(leave-one-out) 이점과의 실용적인 혼합을 설명하고, 클리핑 및 토큰 정규화가 적용된 PPO 구현을 이상적인 정책 그래디언트 추정량과 구별합니다. 이 예비 보고서는 방법론, 증명, 정확한 유한 모델 감사 및 통제된 평가 프로토콜을 제공하며, 언어 에이전트 벤치마크에서의 경험적 우수성은 주장하지 않습니다.

arXiv:2609.24290v1cs.AI공통 태그 Question Answering, Deep Reinforcement Learning, Instruction Following

에이전트는 언제, 어떻게 명확화해야 하는가? CIGAsk: 반사실적 정보 이득(Counterfactual Information Gain)을 통한 LLM 명확화 학습

When and How Should an Agent Clarify? CIGAsk: Teaching LLMs to Clarify via Counterfactual Information Gain

명시가 부족한(underspecified) 쿼리에 직면한 인스트럭션 튜닝(instruction-tuned) LLM은 명확화를 요청하기보다 단일 해석에 몰두하는 경우가 많아, 자신 있게 틀린 답을 낸다. 우리 실험에서 프롬프팅만으로는 부족하다. 모델은 모든 쿼리에 명확화를 요청하거나, 누락된 정보를 회복하지 못하는 모호한 질문을 한다. 이 실패를 해결하려면 두 가지가 결합된 능력을 학습해야 한다. 답하기보다 언제 물을지, 그리고 모호함을 해소하는 정보를 회복하는 질문을 어떻게 할지이다. 기존 방법은 이 능력 중 하나만 다루거나, 별도로 학습된 critic을 요구한다. 우리는 CIGAsk를 제안한다. 다중 턴(multi-turn) GRPO 루프 안에서 두 상보적 보상 신호로 두 능력을 모두 가르치는 RL 레시피이다. 반사실적 정보 이득(Counterfactual Information Gain, CIG)은 동결된 참조 모델에서 사용자 응답 유무에 따른 정답(gold-answer) 가능도를 비교하여, 어떻게 물을지 안내하는 턴별 credit을 제공한다. 비대칭 모호성 보너스(Asymmetric Ambiguity Bonus)는 gold ambiguity 라벨에 기반하여 종단 토큰에 부호 있는 보상을 부여해, 언제 물을지 안내한다. 테이블, passage, open-domain QA에 걸친 세 가지 명확화 벤치마크에서 CIGAsk-7B는 더 작은 백본을 사용함에도 가장 강한 외부 기준선을 능가한다. 또한 데이터셋별 튜닝 없이 데이터셋 간 전이가 가능하며, 분포 밖(out-of-distribution) 벤치마크에서 단일 턴 QA 성능을 유지한다.

arXiv:2610.15782v1cs.CV공통 태그 Navigate, Instruction Following

정책 동기화 언어-행동 이중 부트스트래핑을 통한 내비게이션용 데이터 중심 재귀적 자기 개선

Data-Centric Recursive Self-Improvement for Navigation via Policy-Synchronized Language-Action Dual Bootstrapping

비전-언어 내비게이션은 에이전트(agent)가 자연어 지시를 따라 목표 위치에 도달해야 하므로, 고품질 언어 지도(supervision)가 필수적입니다. 인간의 어노테이션은 비용이 많이 들기 때문에, 기존 연구에서는 확장 가능한 데이터 합성 방법을 탐색해 왔습니다. 그러나 기존 방법들은 일반적으로 내비게이션과 지시문 생성을 위해 별도의 모델(model)을 사용하거나 특정 작업 전용 컴포넌트를 통해 두 작업을 결합하며, 대부분은 업데이트 전에 고정된 모델로 전체 궤적 코퍼스를 어노테이션하므로 생성된 지도 신호가 발전하는 정책보다 뒤처질 수 있습니다. 이에 따라, 본 연구에서는 공유 모델 내에서 비전-언어-행동 지시 추종과 비전-행동-언어 지시 생성을 통합하는, 정책 동기화 언어-행동 이중 부트스트래핑 기반 내비게이션용 데이터 중심 재귀적 자기 개선 프레임워크인 RSI-Nav를 제안합니다. 구체적으로, 지도 미세조정(supervised fine-tuning)을 통해 기본 역량을 확립한 후, RSI-Nav는 라벨이 없는 궤적을 작은 샤드(shard) 단위로 점진적으로 처리합니다. 현재 모델은 이러한 궤적에 대한 지시문을 생성하고, 이를 실행하여 목표 완료율과 경로 효율성을 평가하며, 조건을 충족하는 샘플을 유지한 뒤 다음 샤드를 처리하기 전에 즉시 모델 자체를 업데이트합니다. 이러한 샤드 단위 업데이트는 새로 생성되는 지도 신호가 진화하는 정책과 계속 일치하도록 유지합니다. 또한, 더 강력한 공간 추론이 내비게이션에 도움이 되므로 공간 이해 데이터도 통합합니다. 광범위한 실험을 통해 RSI-Nav가 R2R-CE에서 68.6% SR, RxR-CE에서 72.4% SR을 달성하는 동시에, 재귀적 진화 후 더 강력한 지시 생성 효용과 완만한 수준의 공간 이해 개선을 제공함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.