arXiv:2611.22591v1 cs.AI

PACT: 올바른 계획을 보존하고 행동을 교정하는 GUI 에이전트의 계획–행동 일관성 학습

PACT: Plan-Action Consistency Training by Preserving Correct Plans and Repairing Actions in GUI Agents

Zhuohan Cai, Zhangxuan Gu, Runze Li, Beitong Zhou, Ming Wen, Hongbo Yu, Shuheng Shen, Changhua Meng

제출 2026-11-18

한국어 초록

GUI 에이전트는 추론 과정에서 당장 실행할 올바른 계획을 세우고도 그 계획을 실행하지 못하는 행동을 출력할 수 있다. 이 반복적인 불일치는 실행 격차를 만들고 과제를 안정적으로 완수하기 어렵게 한다. 한 번의 실행 오류만으로 여러 단계의 워크플로가 무너질 수 있기 때문이다. 결과를 지도 신호로 삼는 강화학습에서는 응답 전체의 음의 어드밴티지를 생성한 모든 토큰에 적용하면, 잘못된 실행과 함께 올바른 계획에도 벌점을 줄 수 있다. 이러한 기여도 할당의 충돌을 해결하기 위해 계획–행동 일관성 학습(PACT)을 제안한다. 원래의 스칼라 행동 보상은 그대로 두고, 참조 행동에 부합하는 계획의 보호와 계획에 부합하는 행동의 교정을 결합한다. 주석을 단 참조 행동으로 실행 격차를 식별하고, 검증한 계획이 차지하는 토큰 구간의 음의 정책 그래디언트 기여분을 마스킹해 그 계획을 보호한다. 생성한 추론은 문맥으로 그대로 사용한다. 이어 그래디언트 전파를 중단한 쌍별 가중치를 쓰는 대리 선호 목적함수로, 출력한 잘못된 행동보다 참조 행동에 더 높은 선호를 부여한다. 결과만 사용한 기준선과 비교해 AndroidWorld의 과제 성공률은 60.34%에서 68.97%로 8.63%포인트 높아졌다. AndroidControl High의 규칙 기반 계획–행동 일관성은 83.71%에서 89.74%로 6.03%포인트 높아졌다. 데스크톱 에이전트에도 PACT를 적용하자, OSWorld의 전체 369개 과제에서 성공률이 40.92%에서 44.17%로 3.25%포인트 높아졌다. 이 결과는 PACT가 모바일 및 데스크톱 GUI 환경에서 실행 격차를 줄이고 과제 완수를 개선하는 기여도 할당 방법임을 보여 준다.

원문 초록

GUI agents can formulate a correct immediate plan in their reasoning yet emit an action that fails to execute it, creating an execution gap. This recurring mismatch undermines reliable task completion, as a single execution error can derail a multi-step workflow. In outcome-supervised reinforcement learning, broadcasting a negative response-level advantage across all generated tokens risks penalizing valid planning together with erroneous execution. To address this credit-assignment conflict, we introduce PACT (Plan-Action Consistency Training), a training framework that combines reference-aligned plan protection and plan-aligned action repair without altering the original scalar action reward. Using annotated reference actions to identify execution gaps, PACT protects the verified plan by masking negative policy-gradient contributions across its token span. Keeping the generated reasoning unchanged as context, it then favors the reference action over the emitted erroneous action through a preference surrogate with stop-gradient pair weights. Compared with the outcome-only baseline, PACT raises AndroidWorld task success from 60.34% to 68.97% (+8.63 pp), while improving rule-based plan-action consistency on AndroidControl High from 83.71% to 89.74% (+6.03 pp). Adapting PACT to desktop agents also improves task success from 40.92% to 44.17% (+3.25 pp) on the full 369-task OSWorld benchmark. Together, these results establish PACT as an effective credit-assignment framework for bridging execution gaps and improving task completion across mobile and desktop GUI environments.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22591v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.