arXiv:2606.07027v1 cs.AI

StainFlow: GUI 에이전트의 프로세스 보상을 위한 엔티티-스테인 추적 및 증거 연결

StainFlow: Entity-Stain Tracking and Evidence Linking for Process Rewards in GUI Agents

Haojie Hao, Longkun Hao, Yihang Lou, Yan Bai, Zhenyang Li, Zhichao Yang, Dongshuo Huang, Hongyu Lin, Lanqing Hong, Jiakai Wang, Xianglong Liu

제출 2026-06-05

한국어 초록

강화학습(RL)은 장기 수평(long-horizon)의 확률적 디지털 환경에서 GUI 에이전트를 개선하는 유망한 접근법으로 떠오르고 있으나, 궤적 수준의 성공 피드백은 너무 희소하여 중간 탐험 단계에 대한 신뢰할 수 있는 크레딧 할당을 제공하기 어렵다. 이 문제를 완화하기 위해 최근 연구들은 전역 마일스톤 검증 또는 지역 단계별 평가를 통해 더 세밀한 학습 피드백을 제공하는 프로세스 보상 모델(PRM)을 도입하였다. 그러나 이러한 방법들은 여전히 두 가지 수준별 한계를 지닌다. 전역 마일스톤 분해는 주관적이고 단일하여 실제 GUI 태스크에서 다양한 유효 실행 경로를 수용하기 어려우며, 고정된 지역 판단 윈도우는 장거리 핵심 증거를 놓치거나 무관한 프레임으로 결정 신호를 희석시킬 수 있다. 네트워크 플로우 분석의 스테인 추적 메커니즘에서 영감을 받아, 우리는 GUI 에이전트를 위한 엔티티-스테인-플로우 프로세스 보상 모델인 StainFlow를 제안한다. 전역 분할의 주관성을 줄이기 위해, 시각적으로 검증 가능한 태스크 엔티티를 추출하고 이들의 스테인 농도 및 상태가 궤적을 따라 어떻게 변화하는지 추적하는 전역 엔티티 스테인 추적(Global Entity Stain Tracking) 모듈을 도입한다. 이를 통해 엔티티 증거 플로우의 변화에 따라 태스크 단계를 객관적으로 분리할 수 있다. 지역 검증의 정확도를 높이기 위해, 지역 스테인 증거 연결(Local Stain Evidence Linking) 모듈을 도입한다. 이 모듈은 각 후보 핵심 노드의 트리거 엔티티를 중심으로 스테인 농도와 상태 변화를 기반으로 관련 단계를 검색하고, 진정한 핵심 노드를 검증하기 위한 고밀도 증거 윈도우를 동적으로 구성한다. AndroidWorld 및 OGRBench에서의 광범위한 실험을 통해 StainFlow가 온라인 RL 성공률을 상대적으로 3.2%, 궤적 완료 판단 정확도를 1.8% 향상시킴을 확인하였다.

원문 초록

Reinforcement Learning (RL) has become a promising approach for improving GUI Agents in long-horizon, stochastic digital environments, but trajectory-level success feedback is too sparse to provide reliable credit assignment for intermediate exploration steps. To mitigate this issue, recent studies introduce Process Reward Models (PRMs), which provide finer-grained training feedback through global milestone verification or local step-level evaluation. However, these methods still suffer from two level-specific limitations: global milestone decomposition is subjective and singular, making it difficult to accommodate the multiple valid execution paths in real GUI tasks, while fixed local judging windows may miss long-range key evidence or dilute the decision signal with irrelevant frames. Inspired by stain-tracing mechanisms in network flow analysis, we propose StainFlow, an entity-stain-flow process reward model for GUI Agents. To reduce the subjectivity of global partitioning, we introduce the Global Entity Stain Tracking module, which extracts visually verifiable task entities and tracks how their stain concentrations and states evolve along the trajectory, allowing task phases to be objectively separated by changes in the entity evidence flow. To improve the accuracy of local verification, we introduce the Local Stain Evidence Linking module. Centered on the triggering entities of each candidate key node, it retrieves relevant steps based on their stain concentrations and state changes, and dynamically constructs high-density evidence windows for verifying true key nodes. Extensive experiments on AndroidWorld and OGRBench show that StainFlow relatively improves online RL success by 3.2% and trajectory completion judgment accuracy by 1.8%.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.07027v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22592v1cs.AI공통 태그 Deep Reinforcement Learning, Sequential Decision Making, reinforcement learning rl

AutoGym: 검증 가능한 에이전트 Gym의 청사진 우선 생성

AutoGym: Blueprint-First Generation of Verifiable Agent Gyms

강화학습(RL)으로 에이전트(agent)를 학습(training)시키려면 작업(task), 해당 작업을 시도할 수 있는 실행 가능한 환경(environment), 그리고 성공과 실패를 안정적으로 판별하는 검증기(verifier)로 구성된 gym이 필요합니다. 이러한 gym을 구축하는 작업은 여전히 수작업에 의존하며 비용이 많이 들고 정적입니다. 모델(model)이 발전함에 따라 작업 세트는 포화 상태에 이르고 데이터 오염에 점점 더 노출됩니다. 합성 생성을 통해 확장성을 확보할 수 있지만, 단일 패스(single-pass) 합성은 난이도가 주로 표면적인 수준에 불과한 작업을 생성합니다. 복잡한 문장 표현에도 불구하고 비슷한 수준의 성능을 가진 모델들이 이를 해결하며, 정답 여부는 신뢰할 수 없는 대규모 언어 모델(LLM) 심사위원에 의해 사후에 판별되어야 합니다. 본 논문에서는 최소한의 도메인 시드나 이전 모델의 궤적(trajectory)으로부터 완전한 gym(작업, 실행 가능한 환경, 검증기)을 생성하는 프레임워크인 AutoGym을 제시합니다. AutoGym은 세 가지 메커니즘을 도입합니다. (1) 청사진 우선(blueprint-first) 생성은 환경이 구체화되기 전에 유효한 솔루션 공간, 환경 요구 사항 및 검증 기준을 지정함으로써, 해결 가능성(solvability)을 사후에 검증하는 속성이 아닌 구축의 전제 조건으로 만듭니다. (2) 명시적 생성 파라미터는 작업 토폴로지, 상호작용 깊이, 능력 축, 질문 난독화, 방해 요소 구성을 제어하여 세밀한 난이도 조정을 가능하게 합니다. (3) 능동형 커리큘럼 합성은 모델의 능력이 발전함에 따라 성능 정보를 반영한 캘리브레이션을 활용해 이러한 파라미터에 대한 분포를 조정합니다. 생산성 및 시간적 추론 환경 전반에서 AutoGym은 프론티어 모델에 도전하는 사례를 포함하여 다양한 능력 스펙트럼에 걸친 gym을 생성합니다.

arXiv:2608.19779v2quant-ph공통 태그 Sequential Decision Making, reinforcement learning rl

월드 모델과 현실의 정렬에서 나타나는 기약 양자 이점

An Irreducible Quantum Advantage in Aligning World Models with Reality

월드 모델(world model)은 실제 세계의 디지털 시뮬라크르를 제공하여, 비용이 많이 드는 실제 환경 배치 이전에 에이전트(agent)를 학습하고 테스트할 수 있도록 돕는다. 각 타임스텝마다 월드 모델은 행동을 입력받아 실제 세계의 통계와 일치하는 관측값 및 보상(reward)을 생성한다. 현재의 결과가 먼 과거의 사건에 의존하는 복잡한 환경에서는 메모리가 필요하다. 흔히 메모리를 늘림으로써 실제 세계와 가상 세계의 최적 에이전트 정책을 정렬(alignment)할 수 있을 만큼 항상 충분히 정확한 모델을 구축할 수 있을 것이라 기대할 수 있다. 본 논문에서는 실제 세계 자체가 고전적(classical)일 때조차도 고전적 월드 모델에 대해서는 이러한 가정이 거짓임을 보인다. 연구진은 모든 유한 고전 모델이 동일한 가능한 궤적 상에서 실패하는 실제 세계들을 구성한다. 즉, 실제 세계가 특정 행동을 명확히 선호할 때 행동을 구분하는 능력을 상실하거나, 차선의 행동에 가장 높은 기대 보상을 반복적으로 부여한다. 또한 기대 보상 추정치에는 사라지지 않는 평균 오차가 지속적으로 남는다. 반면, 이러한 각각의 실제 세계는 단일 큐트리트(qutrit)를 사용하여 해당 환경을 정확히 재현하는 양자 월드 모델을 허용한다. 이 양자 모델의 보상 추정치와 선호 행동은 항상 실제 세계의 것과 일치하여, 실제 세계와 가상 세계의 최적 정책이 완벽하게 정렬되도록 보장한다.

arXiv:2610.02520v1cs.LG공통 태그 Sequential Decision Making, reinforcement learning rl

단계별 제약 조건이 있는 CMDP를 위한 인스턴스 의존적 후회도

Instance-Dependent Regret for CMDPs with Step-Wise Constraints

본 논문에서는 단계별 안전 제약 조건(step-wise safety constraints)을 갖는 에피소드형 테이블 형식의 제약 마르코프 결정 과정(CMDP)에서의 온라인 학습을 연구합니다. 이러한 환경에서 제약 조건은 실행 가능한 정책 하에서 누적 보상의 분산을 결정하고, 결과적으로 학습 난이도를 형성하는 안전한 부분 그래프(safe subgraph)를 유도합니다. 그러나 이러한 구조를 활용하려면 제약 위반을 제어하면서 어떤 행동이 안전한지 학습해야 합니다. 우리는 후보 안전 부분 그래프를 학습하고 그 안에서 분산 적응형 낙관적 계획을 수행하는 효율적인 알고리즘인 SVAE(Safe Variance-Adaptive Exploration)를 제안합니다. SVAE는 높은 확률로 $K$개의 에피소드에 대해 $\widetilde{\mathcal{O}}(\sqrt{SAH\min\{\mathbb{V}_Σ,K\mathrm{Var}^{\star}\}}+S\sqrt{AH^3\min\{K,\mathcal{C}\}}+S^2AH^2)$ 차수의 누적 후회도(cumulative regret)를 달성하며, 여기서 $H$는 단일 에피소드의 기간(horizon), $S$와 $A$는 각각 상태 및 행동의 수입니다. 여기서 $\mathrm{Var}^{\star}$는 안전한 정책들 중 최대 수익 분산이고, $\mathbb{V}_Σ$는 첫 번째 불안전한 행동을 마주하기 전까지 누적된 분산이며, $\mathcal{C}$는 잠재적으로 안전하다고 잘못 간주된 행동을 제거하는 데 따르는 통계적 복잡도를 나타냅니다. 추가적으로 SVAE는 $\widetilde{\mathcal{O}}(H\sqrt{SAK}+S^2AH^2)$의 단계별 제약 위반과 $K$에 대해 다항 로그(polylogarithmic) 비례하는 갭 의존적(gap-dependent) 위반 상한을 달성합니다. 마지막으로, 이러한 인스턴스 특정 수치들에 대한 의존성이 불가피함을 보여주는 하한(lower bound)을 확립합니다.

arXiv:2610.02828v1cs.AI공통 태그 Sequential Decision Making, reinforcement learning rl

FSPO: 예산 제약 기반 LLM 강화학습 사후 학습을 위한 정책 일관적 위험 및 파레토 실행 가능 제어

FSPO: Policy-Consistent Risk and Pareto-Feasible Control for Budgeted LLM RL Post-Training

적응형 대규모 언어 모델(LLM) 강화학습(RL) 사후 학습은 롤아웃(rollout) 온도, 그룹 크기, 클리핑, KL 정규화(regularization), 검증기(verifier) 할당, 업데이트 예산 등 여러 학습 제어 요소를 온라인으로 변경합니다. 그러나 세 가지 결합된 문제가 여전히 해결되지 않은 상태로 남아 있습니다. 행동 궤적(behavior trajectories)으로 학습된 미래 위험 모델은 실제로 배포될 제어기(controller)가 유발하는 위험을 정확히 추정하지 못할 수 있고, 기록된 상태-행동 쌍에서 보정(calibrated)된 점수는 선택적 행동 결정 후 보정 오차가 발생할 수 있으며, 자원별 독립적인 최소 비용만으로는 일반적으로 다중 자원에 걸친 실행 가능한 지속 경로를 보장하지 못합니다. 본 논문에서는 이러한 문제들을 종합적으로 해결하는 예산 제약 기반 LLM RL 사후 학습용 피드백 상태 제어기인 FSPO를 제안합니다. FSPO는 향후 결정에 사용되는 동일한 동결 제어기를 벨만 타깃(Bellman target)으로 따르는 정책 일관적(policy-consistent) 잔여 위험(risk-to-go) 모델을 장기 효용 모델과 함께 학습합니다. 또한 결정 조건부 궤적 보정(DCTC)은 임시 제어기가 선택한 행동으로 생성된 교차 적합(cross-fitted) 궤적에서 위험을 보정합니다. 파레토 자원 지속 보증(PRCC)은 잔여 구간(horizon) 동안 비지배(non-dominated) 누적 예약이 실행 가능할 때만 행동을 허용합니다. 동일한 GRPO 자원 범위 조건에서 FSPO는 66.11%의 홀드아웃(held-out) 정확도와 59.43%의 OOD(분포 외) 정확도를 달성하여, 평가된 가장 강력한 적응형 기준선(baseline)인 PB2의 64.47% 및 57.03%를 능가했습니다. 3개의 쌍체 학습 시드(paired training seeds) 기준 홀드아웃 및 OOD 평가에서 문맥 밴딧(contextual bandit) 대비 각각 +2.42 및 +3.19%p 향상되었습니다. 행동-배포 간 불일치가 큰 조건에서 정책 일관적 위험은 선택 결정 ECE를 0.108에서 0.053으로 낮췄고, DCTC는 동일 수락률 조건에서 이를 0.039에서 0.022로 낮췄으며, PRCC는 18개 행동 카탈로그에서 거짓 실행 가능 허용을 완전히 제거했습니다($0.197\rightarrow0.000$). 요인 제거 분석(factorial ablation)에서 세 요소를 모두 활성화했을 때 궤적 실패율은 0.181에서 0.083으로 감소했습니다.

arXiv:2610.03598v1q-fin.TR공통 태그 Deep Reinforcement Learning, reinforcement learning rl

올바른 보상만으로는 충분하지 않을 때: 해석적으로 풀린 브로커-트레이더 게임에서 PPO 진단 및 유도

When a Correct Reward Is Not Enough: Diagnosing and Guiding PPO in an Analytically Solved Broker-Trader Game

복잡한 동역학으로 인해 해석적(analytical) 전략을 도출하기 어려울 때, 금융 최적 제어 문제에 강화학습(RL)이 점점 더 많이 활용되고 있습니다. 금융 수학 문헌에는 학습을 평가하고 유도할 수 있는 방정식과 제어를 제공하는 이미 풀린 모델들이 많이 존재하며, 본 논문에서는 강화학습이 이러한 결과를 활용할 수 있는지 질문을 던집니다. 우리는 해석적으로 풀린 연속 시간 브로커-트레이더 게임에 근접 정책 최적화(PPO) 에이전트를 배치합니다. PPO는 브로커를 대체하여 정보 트레이더 및 확률적 비정보 주문 흐름과 상호작용하면서 거래 속도를 선택합니다. 우리는 브로커의 연속 시간 보수(payoff)로부터 유한 단계 보상을 도출하고, 격자 세분화(grid refinement)와 정확한 1단계 항등식을 통해 이산적 구현을 검증합니다. 비정보 흐름이 0일 때, 검증을 통해 선택된 PPO-FFNN은 기준 행동(reference action)에 근접합니다. 반면 확률적 비정보 흐름이 존재하는 경우, 지도학습을 통해 액터가 해당 행동을 표현할 수 있음을 확인했음에도 불구하고 테스트된 PPO-FFNN과 PPO-LSTM은 여전히 부정확한 상태를 유지합니다. 몬테카를로 진단에 따르면 크리틱(critic)이 인접한 행동들의 순위를 안정적으로 매기지 못하며, 잠재 기반 보상 형성(potential-based reward shaping) 역시 신뢰할 만한 개선을 제공하지 못합니다. 부분 정보 환경에서는 브로커의 관측 가능한 이력에 기반한 인과적 확실성 등가 제어기(causal certainty-equivalent controller)가 기준 행동에 가깝게 유지되는 반면, PPO는 더 큰 오차와 더 낮은 보수를 보입니다. 마지막으로, 우리는 해석적 정책을 동결하고 체결 비용이 변경된 후 이를 조정하도록 PPO를 학습시킵니다. 비용을 절반으로 줄였을 때 변경된 비용 기준과의 격차를 \(2.22\%\) 좁히는 재현 가능한 개선이 나타납니다. 따라서 해석적 해는 강화학습을 진단하기 위한 벤치마크이자 적응을 위한 유용한 출발 정책을 모두 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.