핵심에 대한 보상: 터미널 에이전트를 위한 의존성 인식 정책 최적화
Credit Where It Matters: Dependency-Aware Policy Optimization for Terminal Agents
한국어 초록
터미널을 사용하는 에이전트(agent)는 코딩, 디버깅 및 기타 다단계 터미널 작업에서 강화학습(RL)의 이점을 얻습니다. 이러한 작업에서는 후속 명령어가 이전 명령어에 의해 생성된 정보나 중간 결과에 의존하는 경우가 많습니다. 그러나 기존의 궤적 수준(trajectory-level) 및 단계 수준(step-level) 신용 할당(credit assignment) 방법은 명령어가 최종 결과에 영향을 미치는 읽기-쓰기 의존성을 명시적으로 추적하지 않습니다. 결과적으로 무관한 연산에도 학습(training) 신호가 할당되어 유의미한 단계로부터의 학습을 약화시킬 수 있습니다. 본 논문에서는 명령어 간의 실행 의존성을 활용하여 터미널 에이전트의 신용 할당을 안내하는 의존성 인식 그룹 정책 최적화(Dependency-Aware Group Policy Optimization, DepGPO)를 제안합니다. 구체적으로, 실행 추적(execution trace)으로부터 명령어 의존성 그래프를 구축하고 작업 검증기(task verifier)가 검사한 리소스에서부터 역방향으로 추적합니다. 그런 다음 이러한 경로를 따라 관련 쓰기 작업 및 이를 뒷받침하는 읽기 작업에 신용을 할당하고, 이를 활용해 단계별로 궤적 이점(trajectory advantage)을 재분배합니다. 광범위한 비교 실험과 절제 연구(ablation study)를 통해 DepGPO가 복잡한 터미널 작업에서 작업 성능과 학습 안정성을 향상시킴을 입증합니다.
원문 초록
Terminal-using agents benefit from reinforcement learning (RL) in coding, debugging, and other multi-step terminal tasks. In these tasks, later commands often depend on information or intermediate results produced by earlier commands. However, existing trajectory-level and step-level credit assignment methods do not explicitly trace the read-write dependencies through which commands affect the final outcome. Consequently, training signals could still be assigned to irrelevant operations, weakening learning from relevant steps. In this paper, we propose Dependency-Aware Group Policy Optimization (DepGPO), which uses execution dependencies between commands to guide credit assignment for terminal agents. Specifically, we construct a command dependency graph from execution traces and trace backward from the resources inspected by the task verifier. We then assign credit to relevant writes and their supporting reads along these paths, and use it to redistribute trajectory advantages across steps. Extensive comparative experiments and ablation studies demonstrate that DepGPO improves task performance and training stability on complex terminal tasks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LLM 에이전트 학습을 위한 맥락 일치 그룹 정책 최적화
Matched-Context Group Policy Optimization for LLM Agent Training
장기적인(long-horizon) 언어 모델 에이전트를 학습시키려면 희소한 최종 피드백으로부터 중간 결정들에 대한 신용 할당(credit assignment)을 수행해야 합니다. 유한한 형제 롤아웃(sibling rollout) 그룹 내에서 유용한 행동 비교는 해당 행동의 맥락, 두 대안에 대한 증거, 그리고 그 증거가 학습에 어떻게 반영되는지에 따라 달라집니다. 본 연구에서는 이미 수집된 궤적(trajectory)으로부터 가중 행동 선호도를 구축하는 절차인 맥락 일치 그룹 정책 최적화(Matched-Context Group Policy Optimization, MCGPO)를 제안합니다. MCGPO는 행동 전 상태 요약 및 관찰된 루브릭 진행 상황으로 비교 맥락을 정의하며, 이는 작업 규칙에 의해 주석 처리됩니다. 두 행동 지지(two-action support)는 순서화된 정확 및 대략적 매칭 규칙 중에서 선택합니다. 고정 폴드(fixed fold)는 후보 결정들을 선호도 방향을 설정하는 데 사용되는 최종 결과로부터 분리하며, 지지 의존적 증거 가중치는 공유된 GraphGPO 작업 학습과 함께 보조 쌍별(pairwise) 목적 함수를 스케일링합니다. MCGPO는 롤아웃 데이터와 각 응답의 원래 이력을 재사용하여 비평자 없는(critic-free) 학습을 유지합니다. 각각 세 가지 학습 시드를 사용한 6개의 환경-백본 설정 전반에서, MCGPO는 일치된 GraphGPO 대비 평균 성공률을 향상시켰습니다. Qwen2.5-1.5B 및 7B를 사용한 ALFWorld와 WebShop에서 0.47~1.46%포인트 향상되었으며, Qwen3-4B 및 8B를 사용한 WebShop에서는 3.96 및 5.16포인트 향상되었습니다. ALFWorld의 성능 향상은 여유 공간이 제한적인 92% 이상의 기준선 성공률을 기반으로 이루어졌습니다. 통합 성공률은 4개의 Qwen2.5 설정 중 3개에서 향상되었습니다. 3개 시드 요인 제어(factorial controls)는 반대 폴드 증거 및 증거 가중치를 뒷받침하며, 결합 상태-루브릭 매칭은 4개의 표현-제어 설정 모두에서 가장 높은 평균을 달성했습니다.
에이전트 강화학습을 위한 의존성 인식 보상 형성
Dependency-Aware Reward Shaping for Agentic Reinforcement Learning
강화학습(RL)으로 대규모 언어 모델(LLM)을 학습시킬 때, 종단 보상(terminal reward)은 어떤 스텝이 중요한지에 대한 지침을 거의 제공하지 못합니다. 스텝 단위의 기여도(credit)를 부여하는 일반적인 방법들은 수정되지 않은 실수 위에 쌓인 작업은 낭비되는 반면, 독립적인 작업은 여전히 유효하다는 점을 간과합니다. 최종 성공/실패 보상만 주어질 경우, 실패한 에피소드의 모든 스텝은 비록 진전을 이루었더라도 미래 총 보상이 0이 됩니다. 본 논문에서는 태스크의 진행 상황을 선행 조건 관계로 연결된 술어(predicate)로 표현하고 의존성 그래프상에서 스텝 레벨의 기여도를 할당하는 의존성 인식 보상 형성(Dependency-Aware Reward Shaping, DARS)을 제안합니다. 주석기(annotator)는 각 스텝이 어떤 술어를 검증(verify), 무효화(invalidate) 또는 복구(repair)하는지 표시합니다. 검증된 술어는 가장 가까운 깨진 선행 조건과의 그래프 거리에 따라 할인되며, 독립적인 술어는 영향을 받지 않습니다. 복구 작업은 남아 있는 오류를 기반으로 이러한 가중치를 업데이트하며, 무효화된 술어는 기여도를 다시 얻기 위해 재검증이 필요합니다. 고정된 포텐셜(potential)은 이러한 주석을 부호가 있는 스텝별 보상으로 변환합니다. 공통 보상 및 주석 인터페이스 덕분에 DARS는 롤아웃(rollout) 전략이나 옵티마이저를 변경하지 않고도 GiGPO, ARPO/AEPO와 같은 다양한 추론 및 에이전트 학습 방법에 통합될 수 있습니다. 5가지 태스크 제품군과 1.5B부터 8B까지의 모델 전반에서, DARS는 동일한 예산 및 하네스로 학습된 GiGPO 대비 성공률을 최대 10포인트 향상시키고(ALFWorld), WebShop 태스크 점수와 Search-R1 QA 정확도를 높이며, Python 인터프리터를 활용한 AIME24/25에서의 AEPO 엔트로피 기반 학습을 보완하고, 1.7B 및 4B의 제어된 도구 미사용(tool-free) 추론 비교에서 OmniOPD를 능가합니다. 소거 연구(ablation study)는 스텝 레벨 기여도, 의존성 감쇠, 그래프 토폴로지가 각각 성능에 기여함을 보여줍니다. ALFWorld에서 증류된 8B 주석기는 API 주석기와 동등한 성능을 보여, DARS가 프론티어 판별 모델(frontier judge) 없이도 효율적으로 실행될 수 있도록 합니다. 코드는 https://github.com/JianhuiWei7/DARS 에서 확인할 수 있습니다.
시간적 근접성을 넘어서: 강화학습에서의 신용 할당을 위한 설명적 월드 모델
Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning
생성형 추천 시스템(Generative Recommenders)은 결정 이후 수백 또는 수천 번의 상호작용이 지난 뒤에야 나타나는 결과를 최적화하기 위해 점점 더 강화학습(Reinforcement Learning, RL)을 활용하고 있다. 표준 강화학습은 명시적인 관련성이 아니라 시간적 근접성에 따라 보상을 전파하며, 이로 인해 멀리 떨어져 있지만 중요한 행동에 할당되는 신호가 약화되고 샘플 비효율성의 원인이 된다. 우리는 설명(explanation)을 사용하여 실현된 결과에 그럴듯하게 기여했을 이전 사건들을 식별하는 귀속(attribution) 프레임워크인 설명적 월드 모델(Explanatory World Models, EWM)을 소개한다. 우리는 프론티어 언어 모델을 사용하여 EWM을 구체화하고, 할인되지 않은 에피소드 리턴(undiscounted episode return)을 보존하면서 보상을 재귀적으로 재분배하는 보수적인 계층적 연산자(hierarchical operator)를 통해 그 설명을 학습 신호로 사용한다. 무엇이 유용한 설명을 구성하는지를 조사하기 위해, 우리는 Halpern의 실제 인과관계(actual causation), Lombrozo의 설명적 단순성(explanatory simplicity), Deutsch의 변형하기 어려운 설명(hard-to-vary explanations)에서 영감을 받은 세 가지 상호 보완적인 변형을 구체화한다. 우리는 두 가지 통제된 장기 호라이즌(long-horizon) 강화학습 벤치마크, 공개된 순차적 추천(sequential-recommendation) 벤치마크, 그리고 산업 규모의 생성형 추천 시스템에서 EWM을 평가한다. Crafter와 WordCraft에서 EWM은 PPO와 LaRe를 크게 상회하며, 보상이 가장 지연될 때 가장 큰 성능 향상을 보인다. KuaiRand에서 EWM은 오프라인에서 SFT와 LaRe를, 온라인에서 A2C를 상회한다. 마지막으로, 산업용 생성형 추천 시스템에 대한 오프라인 평가에서 EWM은 재현율(Recall)을 상당히 개선하고 행동 대리 지표(behavioral proxies)를 증가시킨다. 이러한 결과는 설명이 지연된 결과로부터 학습하기 위한 구조화되고 재사용 가능한 신용(credit)을 제공할 수 있음을 시사한다.
엔트로피를 넘어서: 비디오 추론을 위한 자가 진단 다중 역할 토큰 최적화
Beyond Entropy: Self-Diagnostic Multi-Role Token Optimization for Video Reasoning
검증 가능한 보상을 활용한 강화학습은 멀티모달 추론을 크게 발전시켰으나, 모호한 토큰(token) 수준의 기여도 할당(credit assignment) 문제로 인해 여전히 근본적인 한계를 지닙니다. 높은 엔트로피를 지닌 토큰 휴리스틱은 가능성 탐험(exploration)을 촉진하지만, 이를 비디오 추론으로 단순 확장할 경우 모델이 고엔트로피 시각적 활성화에 지나치게 의존하게 되어 추론 과정이 불필요하게 길어지는 경향이 있습니다. 기여도 할당을 위해 반사실적(counterfactual) 기반 시각 토큰 위치 파악에 의존하는 대안적 접근법 역시 정답 도출을 위한 결정적인 추론 단서를 희생하면서 시각적 탐험을 과도하게 우선시하는 경향이 있어, 무의미한 시각적 뉘앙스로 인한 간섭을 심화시킵니다. 나아가 이러한 방법들은 학습(training) 중에 정책(policy)과 함께 동반 진화(co-evolve)하지 못하는 정적 반사실적 전략을 사용합니다. 본 논문에서는 신뢰할 수 있는 토큰 선택과 적응형 반사실적 개입을 공동 최적화하는 동반 진화 프레임워크인 DyCPO를 소개합니다. DyCPO는 다중 역할 의존성 지표를 구축하여 토큰 단위 대조 학습(contrastive learning)에서 시각적 탐험과 정답 관련성 발굴 간의 균형을 맞추는 동시에, 탐험 전용 필러(filler) 토큰과 거짓 시각적 노이즈를 억제합니다. DyCPO는 정적인 반사실적 사전 정보에 의존하는 대신, 모델의 성공 및 실패 롤아웃(rollout)으로부터 반사실적 신호를 동적으로 도출하여 자가 진단 분석과 정책에 맞춘 최적화 목표의 동반 진화를 가능하게 합니다. 복잡한 비디오 추론 및 일반적인 비디오 이해 벤치마크에 대한 광범위한 실험을 통해 일관된 성능 향상을 입증함으로써, DyCPO가 멀티모달 강화학습을 위한 견고한 토큰 수준 기여도 할당 패러다임임을 보여줍니다.
월드 모델과 현실의 정렬에서 나타나는 기약 양자 이점
An Irreducible Quantum Advantage in Aligning World Models with Reality
월드 모델(world model)은 실제 세계의 디지털 시뮬라크르를 제공하여, 비용이 많이 드는 실제 환경 배치 이전에 에이전트(agent)를 학습하고 테스트할 수 있도록 돕는다. 각 타임스텝마다 월드 모델은 행동을 입력받아 실제 세계의 통계와 일치하는 관측값 및 보상(reward)을 생성한다. 현재의 결과가 먼 과거의 사건에 의존하는 복잡한 환경에서는 메모리가 필요하다. 흔히 메모리를 늘림으로써 실제 세계와 가상 세계의 최적 에이전트 정책을 정렬(alignment)할 수 있을 만큼 항상 충분히 정확한 모델을 구축할 수 있을 것이라 기대할 수 있다. 본 논문에서는 실제 세계 자체가 고전적(classical)일 때조차도 고전적 월드 모델에 대해서는 이러한 가정이 거짓임을 보인다. 연구진은 모든 유한 고전 모델이 동일한 가능한 궤적 상에서 실패하는 실제 세계들을 구성한다. 즉, 실제 세계가 특정 행동을 명확히 선호할 때 행동을 구분하는 능력을 상실하거나, 차선의 행동에 가장 높은 기대 보상을 반복적으로 부여한다. 또한 기대 보상 추정치에는 사라지지 않는 평균 오차가 지속적으로 남는다. 반면, 이러한 각각의 실제 세계는 단일 큐트리트(qutrit)를 사용하여 해당 환경을 정확히 재현하는 양자 월드 모델을 허용한다. 이 양자 모델의 보상 추정치와 선호 행동은 항상 실제 세계의 것과 일치하여, 실제 세계와 가상 세계의 최적 정책이 완벽하게 정렬되도록 보장한다.
Range-GRPO: 보상 구간 간 쌍별 관계를 통한 정책 최적화
Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals
대규모 언어 모델(LLM)의 활용이 확대됨에 따라, 이를 다운스트림 작업에 적응시키기 위한 사후 학습의 중요성이 점점 커지고 있다. 그러나 특히 참조 정답이나 실행 가능한 검증기가 없는 분야에서는 신뢰할 수 있는 감독(supervision)을 확보하는 데 여전히 많은 비용이 든다. LLM-as-a-judge는 레이블이 없는 응답에 대해 확장 가능한 유사 보상(pseudo-reward)을 제공하지만, 단일 점수(point score)는 보상의 불확실성을 명시적으로 나타내지 못한다. 이는 유사 보상을 콘포멀하게 보정된(conformally calibrated) 보상 구간으로 표현하려는 동기가 된다. 우리는 제한된 레이블 데이터와 레이블이 없는 프롬프트를 결합하는 반지도(semi-supervised) 사후 학습 프레임워크인 Range-GRPO를 제안한다. Group Relative Policy Optimization(GRPO)에서는 학습 신호가 각 롤아웃 그룹 내에서의 상대적 보상 비교에 의존한다. 제안하는 목적 함수는 보상 구간을 점 보상(point reward)으로 축소하는 대신 쌍별(pairwise)로 비교함으로써, 구간 불확실성이 이러한 신호의 크기와 방향 모두에 영향을 미칠 수 있도록 한다. 이론적 분석을 통해 이러한 차이를 규명하고, 모든 보상 구간이 점으로 축소될 때 제안된 목적 함수가 Dr.GRPO의 어드밴티지(advantage)로 환원됨을 보인다. 실험적으로 Range-GRPO는 평가된 반지도 학습 방법들 중에서 분포 내(in-distribution) 및 분포 외(out-of-distribution) 평균 성능이 가장 높으면서도 더 적은 학습 자원을 필요로 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.