PyTorchKR Papers

최신 논문

총 45편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.11070v2cs.CL

MJ: 분해된 크레딧 할당을 통한 다중 턴 LLM 탈옥

MJ: Multi-turn LLM Jailbreaking via Decomposed Credit Assignment

Modern large language models (LLMs) operate in interactive multi-turn settings, making multi-turn jailbreaking a realistic threat model and an important setting for automated red teaming. A core challenge in learning multi-turn jailbreak attackers is credit assignment: different turns contribute differently to the final outcome, yet existing learning signals are often too coarse to identify their individual contributions. We propose decomposed credit GRPO (DC-GRPO), a unified turn-level credit assignment framework for Group Relative Policy Optimization in multi-turn jailbreak learning. DC-GRPO assigns a separate group-relative learning signal to each turn by combining immediate and future credit, avoiding the credit misassignment induced by broadcasting a single trajectory-level score across the dialogue. We instantiate this framework with static and dynamic weighting rules that differ in how the two credit sources are balanced while sharing the same turn-level structure. Across four victim LLMs and three benchmarks, DC-GRPO achieves up to 98.26% average ASR_5@3, substantially outperforming the state-of-the-art methods, including SEMA (86.58%) and TROJail (86.23%), demonstrating the effectiveness of our turn-level group-relative credit assignment. Warning: This paper contains examples of harmful content.

arXiv:2610.15840v1cs.LG

에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수

LLM Value Functions for Credit Assignment in Agentic RL

대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.

arXiv:2610.13755v1cs.LG

LLM 에이전트 학습을 위한 맥락 일치 그룹 정책 최적화

Matched-Context Group Policy Optimization for LLM Agent Training

장기적인(long-horizon) 언어 모델 에이전트를 학습시키려면 희소한 최종 피드백으로부터 중간 결정들에 대한 신용 할당(credit assignment)을 수행해야 합니다. 유한한 형제 롤아웃(sibling rollout) 그룹 내에서 유용한 행동 비교는 해당 행동의 맥락, 두 대안에 대한 증거, 그리고 그 증거가 학습에 어떻게 반영되는지에 따라 달라집니다. 본 연구에서는 이미 수집된 궤적(trajectory)으로부터 가중 행동 선호도를 구축하는 절차인 맥락 일치 그룹 정책 최적화(Matched-Context Group Policy Optimization, MCGPO)를 제안합니다. MCGPO는 행동 전 상태 요약 및 관찰된 루브릭 진행 상황으로 비교 맥락을 정의하며, 이는 작업 규칙에 의해 주석 처리됩니다. 두 행동 지지(two-action support)는 순서화된 정확 및 대략적 매칭 규칙 중에서 선택합니다. 고정 폴드(fixed fold)는 후보 결정들을 선호도 방향을 설정하는 데 사용되는 최종 결과로부터 분리하며, 지지 의존적 증거 가중치는 공유된 GraphGPO 작업 학습과 함께 보조 쌍별(pairwise) 목적 함수를 스케일링합니다. MCGPO는 롤아웃 데이터와 각 응답의 원래 이력을 재사용하여 비평자 없는(critic-free) 학습을 유지합니다. 각각 세 가지 학습 시드를 사용한 6개의 환경-백본 설정 전반에서, MCGPO는 일치된 GraphGPO 대비 평균 성공률을 향상시켰습니다. Qwen2.5-1.5B 및 7B를 사용한 ALFWorld와 WebShop에서 0.47~1.46%포인트 향상되었으며, Qwen3-4B 및 8B를 사용한 WebShop에서는 3.96 및 5.16포인트 향상되었습니다. ALFWorld의 성능 향상은 여유 공간이 제한적인 92% 이상의 기준선 성공률을 기반으로 이루어졌습니다. 통합 성공률은 4개의 Qwen2.5 설정 중 3개에서 향상되었습니다. 3개 시드 요인 제어(factorial controls)는 반대 폴드 증거 및 증거 가중치를 뒷받침하며, 결합 상태-루브릭 매칭은 4개의 표현-제어 설정 모두에서 가장 높은 평균을 달성했습니다.

arXiv:2610.13737v1cs.LG

SafeDiSTL: 안전한 다중 에이전트 강화학습을 위한 공동 제약조건 분해

SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning

협력적 다중 에이전트 태스크는 종종 공유 목표나 집합적 안전성(collective safety)에 대한 제약조건을 부과합니다. 팀 수준의 위반 비용 함수는 이러한 제약조건 결과를 측정할 수 있지만, 어떤 에이전트의 행동이 해당 위반에 가장 큰 영향을 미치는지 구분하지 못합니다. 본 논문에서는 결합 제약조건 측정 하에서도 신용 할당(credit assignment)이 가능한 제약 다중 에이전트 강화학습(MARL) 프레임워크인 SafeDiSTL을 제안합니다. 우리는 신호 시간 논리(Signal Temporal Logic, STL) 강건성을 활용하여 실행 최댓값(running-maximum) 비용 증분을 통해 에피소드 수준의 위반을 측정합니다. 매끄러운 전체 에피소드 강건성과 미분 가능한 동역학은 행동 민감도(action sensitivity)를 제공하며, 이는 동일한 결정 시점에 각 비용 증분을 에이전트 전반에 걸쳐 분배합니다. 이러한 민감도는 각 비용 증분에서 에이전트의 기여도를 가중할 때 지연된 영향을 고려합니다. 우리는 협력적 화물 운송, 연결 항법, 네트워크 트래픽 제어 태스크에서 본 프레임워크를 연구합니다. 제약 baselines과 비교했을 때, SafeDiSTL은 운송 태스크에서 안전 성공률을 1.6~5.1배 달성하고, 항법 안전 성공률을 11.1% 향상시키며, 트래픽 태스크에서 50~68% 더 높은 처리량을 보입니다. 실험 결과는 학습된 정책이 제약 없는 정책의 성능을 유지하면서도 공유 제약조건을 다루는 데 있어 크게 향상되었음을 입증합니다.

arXiv:2610.13504v1cs.LG

시간적 근접성을 넘어서: 강화학습에서의 신용 할당을 위한 설명적 월드 모델

Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning

생성형 추천 시스템(Generative Recommenders)은 결정 이후 수백 또는 수천 번의 상호작용이 지난 뒤에야 나타나는 결과를 최적화하기 위해 점점 더 강화학습(Reinforcement Learning, RL)을 활용하고 있다. 표준 강화학습은 명시적인 관련성이 아니라 시간적 근접성에 따라 보상을 전파하며, 이로 인해 멀리 떨어져 있지만 중요한 행동에 할당되는 신호가 약화되고 샘플 비효율성의 원인이 된다. 우리는 설명(explanation)을 사용하여 실현된 결과에 그럴듯하게 기여했을 이전 사건들을 식별하는 귀속(attribution) 프레임워크인 설명적 월드 모델(Explanatory World Models, EWM)을 소개한다. 우리는 프론티어 언어 모델을 사용하여 EWM을 구체화하고, 할인되지 않은 에피소드 리턴(undiscounted episode return)을 보존하면서 보상을 재귀적으로 재분배하는 보수적인 계층적 연산자(hierarchical operator)를 통해 그 설명을 학습 신호로 사용한다. 무엇이 유용한 설명을 구성하는지를 조사하기 위해, 우리는 Halpern의 실제 인과관계(actual causation), Lombrozo의 설명적 단순성(explanatory simplicity), Deutsch의 변형하기 어려운 설명(hard-to-vary explanations)에서 영감을 받은 세 가지 상호 보완적인 변형을 구체화한다. 우리는 두 가지 통제된 장기 호라이즌(long-horizon) 강화학습 벤치마크, 공개된 순차적 추천(sequential-recommendation) 벤치마크, 그리고 산업 규모의 생성형 추천 시스템에서 EWM을 평가한다. Crafter와 WordCraft에서 EWM은 PPO와 LaRe를 크게 상회하며, 보상이 가장 지연될 때 가장 큰 성능 향상을 보인다. KuaiRand에서 EWM은 오프라인에서 SFT와 LaRe를, 온라인에서 A2C를 상회한다. 마지막으로, 산업용 생성형 추천 시스템에 대한 오프라인 평가에서 EWM은 재현율(Recall)을 상당히 개선하고 행동 대리 지표(behavioral proxies)를 증가시킨다. 이러한 결과는 설명이 지연된 결과로부터 학습하기 위한 구조화되고 재사용 가능한 신용(credit)을 제공할 수 있음을 시사한다.

arXiv:2610.03400v2cs.CV

엔트로피를 넘어서: 비디오 추론을 위한 자가 진단 다중 역할 토큰 최적화

Beyond Entropy: Self-Diagnostic Multi-Role Token Optimization for Video Reasoning

검증 가능한 보상을 활용한 강화학습은 멀티모달 추론을 크게 발전시켰으나, 모호한 토큰(token) 수준의 기여도 할당(credit assignment) 문제로 인해 여전히 근본적인 한계를 지닙니다. 높은 엔트로피를 지닌 토큰 휴리스틱은 가능성 탐험(exploration)을 촉진하지만, 이를 비디오 추론으로 단순 확장할 경우 모델이 고엔트로피 시각적 활성화에 지나치게 의존하게 되어 추론 과정이 불필요하게 길어지는 경향이 있습니다. 기여도 할당을 위해 반사실적(counterfactual) 기반 시각 토큰 위치 파악에 의존하는 대안적 접근법 역시 정답 도출을 위한 결정적인 추론 단서를 희생하면서 시각적 탐험을 과도하게 우선시하는 경향이 있어, 무의미한 시각적 뉘앙스로 인한 간섭을 심화시킵니다. 나아가 이러한 방법들은 학습(training) 중에 정책(policy)과 함께 동반 진화(co-evolve)하지 못하는 정적 반사실적 전략을 사용합니다. 본 논문에서는 신뢰할 수 있는 토큰 선택과 적응형 반사실적 개입을 공동 최적화하는 동반 진화 프레임워크인 DyCPO를 소개합니다. DyCPO는 다중 역할 의존성 지표를 구축하여 토큰 단위 대조 학습(contrastive learning)에서 시각적 탐험과 정답 관련성 발굴 간의 균형을 맞추는 동시에, 탐험 전용 필러(filler) 토큰과 거짓 시각적 노이즈를 억제합니다. DyCPO는 정적인 반사실적 사전 정보에 의존하는 대신, 모델의 성공 및 실패 롤아웃(rollout)으로부터 반사실적 신호를 동적으로 도출하여 자가 진단 분석과 정책에 맞춘 최적화 목표의 동반 진화를 가능하게 합니다. 복잡한 비디오 추론 및 일반적인 비디오 이해 벤치마크에 대한 광범위한 실험을 통해 일관된 성능 향상을 입증함으로써, DyCPO가 멀티모달 강화학습을 위한 견고한 토큰 수준 기여도 할당 패러다임임을 보여줍니다.

arXiv:2606.18810v2cs.LG

자체 솔루션으로부터의 학습: 검증 가능한 보상을 통한 강화학습을 위한 자기 조건화 크레딧 할당

Learning from Own Solutions: Self-Conditioned Credit Assignment for Reinforcement Learning with Verifiable Rewards

RLVR에서 GRPO가 모든 토큰에 균일한 크레딧을 부여하는 한계를 줄이기 위해, 모델을 자신의 검증된 궤적으로 조건화할 때 발생하는 토큰별 KL 발산을 GRPO 그래디언트의 곱셈 가중치로 쓰는 SC-GRPO를 제안한다. 수학·코드·에이전트 작업 5개 벤치마크에서 GRPO 대비 8.1%, DAPO 대비 5.9% 성능 향상과 더 강한 OOD 일반화를 보이며, 외부 교사를 사용하는 OPD도 능가한다.

arXiv:2609.12890v3cs.LG

먼 시점의 큰 그래디언트가 반드시 신뢰할 수 있는 것은 아니다: 장기 자기회귀 예측을 위한 신뢰도 가중치 기반 기여도 할당

Large Distant Gradients Need Not Be Reliable: reliability-weighted credit assignment for long-horizon autoregressive forecasting

자기회귀 예측에서 긴 예측 롤아웃(rollout)은 먼 시점의 감독 신호를 제공하지만, 시간차 역전파(BPTT)는 여러 자기회귀 단계를 거쳐 이러한 손실로부터 발생한 그래디언트를 전달합니다. 반복적인 야코비안(Jacobian) 곱은 예측 가능한 신호와 예측 불가능한 변화(innovation)를 동시에 증폭시켜 먼 시점의 그래디언트가 파라미터 업데이트를 지배하게 만들 수 있으므로, 먼 시점의 큰 그래디언트가 반드시 신뢰할 수 있는 학습 신호를 전달하는 것은 아닙니다. 이에 착안하여, 본 논문에서는 전체 순전파 롤아웃과 모든 단계의 손실을 보존하면서 내부 그래디언트 경로에 신뢰도 가중치를 부여하는 역전파 전용 개입 기법인 Internal Dual-Wiener routing(Internal-DW)을 소개합니다. 각 잔차 블록(residual block)에서 예측 가능한 학습 신호 보존과 예측 불가능한 변동 억제 간의 균형을 맞추는 항등 경로 및 비선형 경로에 대한 유계 위너 이득(bounded Wiener gain)을 유도하고, 경로 수준의 그래디언트 통계량과 명시적 노이즈 모델로부터 이를 추정합니다. 그래디언트 신호 대 잡음비(SNR)가 알려진 제어된 시스템에서, 원거리 그래디언트가 SNR이 감소하더라도 크기가 커질 수 있음을 보이며, Internal-DW가 예측 가능한 그래디언트 신호 복원 오류를 줄이고 예측 성능을 향상시킴을 입증합니다. 과거 이력이 지배적이고 외부 구동력이 약한 4개의 테스트베드에서 Internal-DW는 전체 BPTT 대비 예측 오차를 5.2%-13.8% 줄이고, 3개의 테스트베드에서 그래디언트 클리핑 및 야코비안 정규화보다 뛰어난 성능을 보였으며 전단 흐름(shear flow)에서는 유사한 성능을 보였고, 3개의 테스트베드에서 검증 기반으로 선택된 절단된 BPTT(TBPTT)를 능가했습니다. 또한 이들 4개 테스트베드 전반에서 적합된 최적 학습 구간(horizon) 범위를 확장하거나 보존합니다. 여러 벤치마크 전반에서 현재의 Internal-DW 추정기는 명확한 적용 한계를 가집니다. 즉, 활용 가능한 과거 이력이 제한적이거나 선택된 샘플러가 지배적인 구동 의존적 변동을 적절히 반영하지 못할 경우 그 이점이 감소하거나 반전됩니다. 본 결과는 장기 감독 신호를 유지하더라도 모든 역전파 기여도를 동일하게 신뢰할 필요는 없음을 보여줍니다.

arXiv:2606.10684v2cs.LG

에이전트 간 교차 학습 신호를 통한 역할 분해 기반 대규모 언어 모델 협력 학습

Cross-Agent Learning Signals Enable Coordinated Role-Decomposed LLM Training

에이전틱 검색 시스템은 증거 수집과 응답 생성을 조율해야 하지만, 기존 접근 방식은 단일 에이전트(agent) 목적 함수 아래 두 역할을 결합하거나 최종 결과에 대한 각 역할의 기여도를 분리하지 못한 채 역할을 분해합니다. 본 논문에서는 작업별 외부 검증 신호가 주어졌을 때 역할별 교차 검증 보상을 통해 검색기(searcher)와 생성기(generator)를 학습시키는 역할 분해 학습 프레임워크인 DAC(Divide and Cooperate)를 소개합니다. DAC는 검색된 증거가 불충분하다고 판단될 때 생성기가 답변을 기권(abstain)할 수 있도록 허용하며, 이 결정과 외부에서 평가된 검색 충분성을 결합하여 각 역할에 적절한 크레딧(credit)을 부여합니다. 지나친 기권으로 성능이 저하되는 현상을 방지하기 위해, 충분하지만 까다로운 증거에 대해 기권하는 것을 억제하는 하드 포지티브(hard-positive) 증거 증강 기법을 추가로 도입합니다. 7개의 일반 및 멀티홉 QA 벤치마크와 2개의 백본 모델 전반에서 DAC는 강력한 단일 에이전트 및 다중 에이전트 베이스라인을 일관되게 능가합니다. 통제된 평가 결과는 이러한 성능 향상이 검색과 생성 모두의 조화로운 개선에서 비롯됨을 보여줍니다. 본 연구 결과는 에이전틱 검색 시스템을 학습(training)시킬 때 상호작용하는 역할 간에 명시적이고 적절하게 크레딧을 할당하는 것의 중요성을 강조합니다.

arXiv:2605.30638v2cs.LG

점수 브로드캐스트 및 비상관화: 브로드캐스트 기반 기여도 할당을 위한 일반적 프레임워크

Score Broadcast and Decorrelation: A General Framework for Broadcast-Based Credit Assignment

본 논문에서는 미분 가능한 일반 손실군(families of differentiable losses)을 대상으로 브로드캐스트 기반 기여도 할당(credit assignment)을 수행하는 원리적 프레임워크인 점수 브로드캐스트 및 비상관화(Score Broadcast and Decorrelation, SBD)를 소개합니다. 오차 브로드캐스트(error broadcast)는 가중치 수송(weight transport) 없이 출력 정보를 은닉층(hidden layers)으로 전달하여 역전파(backpropagation)를 대체할 수 있는 생물학적으로 타당한 대안입니다. 평균 제곱 오차(MSE) 환경에 대해 최근 도입된 오차 브로드캐스트 및 비상관화(EBD) 프레임워크는 최적 잔차(optimal residual)가 입력 함수와 직교한다는 최적 추정량의 확률적 직교성에 이 메커니즘의 기반을 두었습니다. 본 연구는 최적 점수의 조건부 평균이 0일 때마다 성립하는 출력 점수(최종 층 출력에 대한 손실의 그래디언트)와 은닉층 활성화 간의 직교성 원리를 도입하여 이러한 토대를 일반화합니다. 이 단일 원리는 교차 엔트로피(cross-entropy), 브레그만 발산(Bregman divergences), 적절한 점수 매김 규칙(proper scoring rules), 지수족 음의 로그 우도(negative log-likelihoods)를 포함한 표준 미분 가능 손실군 전반에서 브로드캐스트 기반 기여도 할당을 통합합니다. 이 프레임워크는 브로드캐스트 손실 점수로부터 신경조절 인자(neuromodulatory factor)가 유도되는 일반 손실 하의 3요소 학습 규칙(three-factor learning rule)에 대한 이론적 토대를 제공합니다. 본 논문에서는 교차 엔트로피 사례를 명시적으로 유도하고 허용 가능한 손실군을 특성화하며, 직교성 프레임워크를 유지하면서 브로드캐스트 신호를 풍부하게 만드는 점수 벡터 확장(score vector expansion) 기법을 소개합니다. CIFAR-10 및 Tiny ImageNet에 대한 실험 결과, SBD가 기존 브로드캐스트 접근법 대비 크게 개선되었으며 점수 벡터 확장을 통해 추가적인 성능 향상을 달성함을 보여줍니다. 종합적으로 본 연구는 손실 점수를 브로드캐스트할 신호로 규명하고, 뇌신경과학의 3요소 학습 규칙에 대한 직교성 이론 및 이론적 근거를 제공하며, 점수 벡터 확장이 결과 목적함수의 비상관화 방향을 어떻게 풍부하게 하는지 보여줍니다.

arXiv:2603.06859v4cs.LG

추적이 곧 상태다: 대규모 언어 모델 에이전트 팀을 위한 정확한 기여도 할당

The Trace Is the State: Exact Credit Assignment for LLM Agent Teams

대규모 언어 모델(LLM) 에이전트 팀에서 각 메시지의 가치를 산정하는 기여도 할당(credit assignment)은 주로 예측 문제로 다루어져 왔습니다. 즉, 실제로 실행되기 어려운 기여도의 정의인 반사실적(counterfactual) 가치를 학습된 크리틱(critic), 궤적 수준의 점수, 또는 에이전트 제거(ablation) 등으로 대체해 온 것입니다. 공유 컨텍스트를 통해 소통하는 팀은 이와 다릅니다. 후속 에이전트가 읽는 모든 내용이 추적(trace)에 기록될 때 추적이 곧 상태가 되며, 이러한 반사실적 실행이 실제로 가능해집니다. 이를 통해 기여도 신호는 편향(bias), 분산(variance), 그리고 독립적인 기준과의 일치도 등 여느 추정량과 동일한 기준으로 평가될 수 있습니다. 반사실적 지속을 통한 기여도 할당 기법인 C3(credit assignment by counterfactual continuation)는 결정 시점에서 하나의 메시지를 대체한 뒤 최종 보상(reward)에 도달할 때까지 실행을 이어가므로, 몬테카를로 오차 범위 내에서 편향이 없고 정확합니다. 샘플링된 대안들이 주어졌을 때, 해당 오차의 분산은 에이전트 수에 대한 항이 포함되지 않은 유도 법칙을 따르며, 관측된 노이즈는 2~10개의 결정 시점을 가진 6개 워크플로에서 이 법칙을 따르는 것으로 나타났습니다. 2개 에이전트 체인에서 4회의 지속 실행을 수행한 C3는 16회 지속 실행을 거친 기준 대비 0.69의 순위 상관계수로 대안들의 순위를 매겼으며, 이는 두 기준 간의 일치도인 0.73에 근접한 수치입니다. 반면 동일한 롤아웃으로 학습(training)된 크리틱은 0.29에 그쳤습니다. 2개 에이전트 팀 학습에서 어드밴티지(advantage)로 사용되었을 때, C3는 비교군 중 더 강력한 기준선(baseline)이었던 MAGRPO를 능가했으며, 결정 시점 이후의 후속 메시지만 재생성하므로 MAPPO 대비 학습 토큰을 37% 적게 소모했습니다. 추적이 곧 상태일 때, 기여도는 예측할 필요 없이 정확하게 계산될 수 있습니다.

arXiv:2610.03634v1cs.AI

핵심에 대한 보상: 터미널 에이전트를 위한 의존성 인식 정책 최적화

Credit Where It Matters: Dependency-Aware Policy Optimization for Terminal Agents

터미널을 사용하는 에이전트(agent)는 코딩, 디버깅 및 기타 다단계 터미널 작업에서 강화학습(RL)의 이점을 얻습니다. 이러한 작업에서는 후속 명령어가 이전 명령어에 의해 생성된 정보나 중간 결과에 의존하는 경우가 많습니다. 그러나 기존의 궤적 수준(trajectory-level) 및 단계 수준(step-level) 신용 할당(credit assignment) 방법은 명령어가 최종 결과에 영향을 미치는 읽기-쓰기 의존성을 명시적으로 추적하지 않습니다. 결과적으로 무관한 연산에도 학습(training) 신호가 할당되어 유의미한 단계로부터의 학습을 약화시킬 수 있습니다. 본 논문에서는 명령어 간의 실행 의존성을 활용하여 터미널 에이전트의 신용 할당을 안내하는 의존성 인식 그룹 정책 최적화(Dependency-Aware Group Policy Optimization, DepGPO)를 제안합니다. 구체적으로, 실행 추적(execution trace)으로부터 명령어 의존성 그래프를 구축하고 작업 검증기(task verifier)가 검사한 리소스에서부터 역방향으로 추적합니다. 그런 다음 이러한 경로를 따라 관련 쓰기 작업 및 이를 뒷받침하는 읽기 작업에 신용을 할당하고, 이를 활용해 단계별로 궤적 이점(trajectory advantage)을 재분배합니다. 광범위한 비교 실험과 절제 연구(ablation study)를 통해 DepGPO가 복잡한 터미널 작업에서 작업 성능과 학습 안정성을 향상시킴을 입증합니다.

arXiv:2610.02330v1cs.AI

행동하기 전의 선택: 장기적 도구 사용 에이전트를 위한 비교 가치 추정

Choosing Before Acting: Comparative Value Estimation for Long-Horizon Tool-Use Agents

대규모 언어 모델(LLM)은 복잡한 작업을 수행하기 위해 장기적인(long-horizon) 도구 호출 시퀀스에 의존하며, 여기서 각 호출은 작업 상태를 변경하고 이후 결정의 조건이 됩니다. 장기적 도구 사용에서는 긴 상호작용 궤적 전반에 걸쳐 최종 결과 기반의 보상만으로는 취약한 신용 할당(credit assignment)을 제공할 수밖에 없습니다. 단계별(step-level) 보상은 더 구체적인 피드백을 제공할 수 있으나, 신뢰할 수 있는 단계별 지도(supervision)를 얻으려면 종종 사람이나 LLM의 판단, 또는 중간 결정의 후속 영향을 추정하기 위한 추가적인 롤아웃(rollout)이 필요합니다. 본 논문에서는 효과적인 도구 사용 에이전트(agent)가 가능한 다음 도구 호출을 실행하기 전에 그 장기적 가치를 추정해야 한다고 주장합니다. 이러한 목표를 달성하려면 동일한 문맥에서 대안적인 도구 호출들에 대한 비교 지도(comparative supervision)가 필요하지만, 기록된 궤적(logged trajectory)에는 실제로 수행된 호출만 포함되어 있습니다. 이에 따라 우리는 도구 사용 에이전트를 위한 비교 추론(Comparative Inference for Tool-use Agents, CITA)을 제안합니다. CITA는 관측된 도구 동작, 베이즈 도구 그래프 시뮬레이터로부터 얻은 확장 가능한 지도, 그리고 LLM 기반 비교를 통한 의미적 판단을 결합한 쌍(paired) 신호로부터 비교 추론 모델(Comparative Inference Model, CIM)을 학습합니다. 그 결과 CIM은 현재 문맥에서 가능한 다음 도구 호출이 최종 작업 성공에 기여할 가능성을 추정하도록 학습합니다. 세 가지 도구 사용 벤치마크와 다양한 백본 LLM 전반에서, CITA는 도구 F1 점수와 작업 성공률을 일관되게 향상시킵니다. 추가 분석을 통해 CIM이 비교 도구 선택에 대한 정확한 단계별 가치 추정치를 학습함을 보입니다.

arXiv:2609.32791v2cs.AI

$T^5$: 강화 중간 학습에서 토큰 수준 사고를 위한 트윈 크리틱 학습

$T^5$: Twin-Critic Training for Token-Level Thoughts in Reinforcement Mid-Training

강화 중간 학습(Reinforcement mid-training)은 언어 모델이 라벨이 없는 텍스트로부터 내부 사고(internal thoughts)를 학습할 수 있도록 하지만, 효율적인 토큰(token) 수준 신용 할당(credit assignment)은 여전히 어렵습니다. 기존의 그룹 상대적(group-relative) 방식들은 비용이 큰 반복 생성을 필요로 합니다. 학습된 크리틱(learned critic)은 단일 롤아웃(rollout) 피드백을 제공하지만, 정확한 리턴 예측만으로는 신뢰할 수 있는 정책 업데이트를 보장하지 못합니다. 본 연구의 분석에 따르면 학습(training)--추론(inference) 불일치와 PPO 클리핑으로 인해 이점(advantage) 추정치들의 공통 오프셋이 상쇄되지 못하여 추가적인 업데이트 표류(update drift)가 유발됩니다. 이에 본 연구는 단일 생성 궤적으로부터 토큰 수준 이점을 보정하는 트윈 크리틱(twin-critic) 방식인 \tfour{}를 제안합니다. 웜업(warmup) 및 홀드아웃 검증을 거친 후 크리틱들은 두 가지 이점 추정치를 제공하며, 이는 조건부 모멘트 안장점(conditional-moment saddle-point) 목적함수로 학습된 행동 의존적 가중치를 통해 결합됩니다. 이 목적함수는 각 접두 문맥(prefix)에서의 평균 이점을 0에 가깝게 유도하며, 신호 보존 제약식은 이러한 보정이 학습 신호를 지워버리는 것을 방지합니다. 텍스트 위치 전반에 걸쳐 정보를 공유함으로써 각 접두 문맥에 대한 반복 샘플링을 피할 수 있습니다. 이론적으로 본 연구는 신호 보존 제약 조건 하에서 최적의 혼합을 규명하고, 잔차 평균 유도 표류에 대한 상한을 설정합니다. 실험 결과, 최신 크리틱 프리(critic-free) 방식과 비교하여 \tfour{}는 평균 벤치마크 성능을 7.8\% 향상시키고 평균 학습 단계 시간을 최대 63.4\% 단축함을 보여줍니다.

arXiv:2606.00593v3cs.CL

SPADER: 다중 정답 질의응답을 위한 단계별 동료 어드밴티지와 다양성 인식 탐험 보상

SPADER: Step-wise Peer Advantage with Diversity-Aware Exploration Rewards for Multi-Answer Question Answering

다중 정답 QA(Multi-Answer QA)에서 도구를 활용하는 에이전트가 빈번한 고빈도 엔티티에만 집중하고 조기 탐색을 멈추는 문제를 해결하기 위해, SPADER는 병렬 궤적을 결정 단계별로 정렬해 크리틱 네트워크 없이 세밀한 크레딧 할당을 수행하는 Step-wise Peer Advantage(SPA)와 희귀 엔티티 발견을 장려하는 다양성 인식 탐색 보상(diversity-aware exploration reward)을 결합한 강화학습 프레임워크를 제안한다. QAMPARI, Mintaka, WebQSP, QUEST 벤치마크 실험에서 SPADER는 프롬프팅 기반 에이전트, 결과 감독 RL, 단계별 감독 방법 대비 재현율과 F1을 전반적으로 향상시켰다.

arXiv:2609.39247v2cs.LG

크리틱을 더 신뢰하기

Trust the Critic More

표준 언어 모델(LM) 강화학습(RL) 알고리즘은 긴 롤아웃(rollout)의 모든 토큰에 최종 보상으로 결정되는 동일한 어드밴티지(advantage)를 부여합니다. 액터-크리틱(Actor-critic) 방식은 더 세분화된 신용 할당(credit assignment)을 제공할 수 있지만, 학습된 크리틱은 LLM을 RL로 학습시킬 때 신뢰하기에는 일반적으로 너무 부정확하다고 여겨집니다. 최근 연구들에서는 크리틱이 존재하더라도 기준선(baseline) 추정에만 사용되므로, 모든 궤적(trajectory)을 최종 보상에 도달할 때까지 끝까지 롤아웃해야 합니다. 본 연구에서는 모든 궤적을 완료될 때까지 롤아웃할 필요를 없애는 액션 청킹 기반 액터-크리틱(AC2, Actor-Critic with Action Chunking)을 소개합니다. AC2는 대신 과거 궤적 접두사(prefix)의 짧은 연속 구간인 액션 청크(action chunk)에 신용을 할당합니다. 학습된 크리틱은 각 액션 청크의 끝에서 도달한 상태를 평가하여, 정책(policy)이 최종 보상을 관찰하지 않고도 업데이트될 수 있도록 합니다. 우리는 세 가지 설계 선택을 통해 크리틱 기반 신용 할당의 신뢰성을 확보합니다. 첫째, 특정 문제에서 크리틱이 충분히 정확할 때에만 해당 문제에 크리틱 기반 업데이트를 사용하는 국소 준비도(local readiness)를 도입합니다. 둘째, 가능한 경우 이전의 성공적인 롤아웃에서 얻은 참조 솔루션을 크리틱에 제공합니다. 셋째, 개별 토큰 대신 1만 개 토큰 크기의 액션 청크 단위로 신용을 할당하여 크리틱이 평가할 궤적의 더 유의미한 부분을 제공합니다. 우리는 AC2를 사용하여 FineProofs-RL에서 Qwen3-4B를 학습(training)하고 IMO-ProofBench에서 평가합니다. AC2는 2.5배 적은 디코딩 FLOPs를 사용하면서도 GRPO의 최고 검증(validation) 점수인 18.5%를 능가합니다. 이러한 이득은 두 가지 요인에서 비롯됩니다. (1) AC2는 이 점수에 도달하는 데 25% 적은 학습 스텝을 필요로 하며, (2) 정책이 모든 궤적을 완료될 때까지 지속할 필요가 없으므로 각 스텝마다 더 적은 수의 토큰을 생성합니다. 개념적으로 본 연구는 모든 궤적을 완료될 때까지 롤아웃할 필요성을 제거할 수 있음을 입증하며, LLM RL 알고리즘을 위해 기존에 탐색되지 않았던 광범위한 설계 공간을 새롭게 열어줍니다.

arXiv:2506.11030v2cs.LG

순방향 타깃 전파: 국소 손실을 통한 전역 오차 기여도 할당의 순전파 전용 접근법

Forward Target Propagation: A Forward-Only Approach to Global Error Credit Assignment via Local Losses

신경망 학습(training)은 전통적으로 그래디언트(gradient) 기반 알고리즘인 역전파(backpropagation, BP)에 의존해 왔으나, 역전파의 광범위한 성공에도 불구하고 생물학적 및 하드웨어적 관점 모두에서 주요한 한계를 지닙니다. 여기에는 대칭 가중치에 의한 역방향 오차 전파, 비국소적 기여도 할당(non-local credit assignment), 역전파 과정에서의 활성화 동결 등이 포함됩니다. 본 논문에서는 역전파를 두 번째 순전파(forward pass)로 대체하는 생물학적으로 타당하며 계산 효율적인 대안인 순방향 타깃 전파(Forward Target Propagation, FTP)를 제안합니다. FTP는 피드포워드 계산만을 사용하여 층별(layerwise) 타깃을 추정하므로, 대칭적 피드백 가중치나 학습 가능한 역함수의 필요성을 없애 모듈형 국소 학습을 가능하게 합니다. 완전 연결 신경망, CNN, RNN에서 FTP를 평가한 결과, MNIST, CIFAR10, CIFAR100에서 BP와 경쟁력 있는 정확도를 보였을 뿐만 아니라 순차적 태스크에서 장기 의존성을 효과적으로 모델링함을 입증했습니다. 나아가 FTP는 양자화(quantization)된 저정밀도(low-precision) 및 최신 하드웨어 제약 조건에서 BP를 능가하는 성능을 보였으며, 타깃 전파 변형 및 순전파 전용 학습 알고리즘과 같은 여타 생물학적 영감을 받은 방법들에 비해 상당한 효율성 향상을 입증했습니다. 최소한의 계산 오버헤드, 순전파 전용 특성, 하드웨어 호환성을 갖춘 FTP는 에너지 효율적인 온디바이스 학습 및 뉴로모픽 컴퓨팅을 위한 유망한 방향을 제시합니다.

arXiv:2610.01207v1cs.AI

에이전트 강화학습을 위한 의존성 인식 보상 형성

Dependency-Aware Reward Shaping for Agentic Reinforcement Learning

강화학습(RL)으로 대규모 언어 모델(LLM)을 학습시킬 때, 종단 보상(terminal reward)은 어떤 스텝이 중요한지에 대한 지침을 거의 제공하지 못합니다. 스텝 단위의 기여도(credit)를 부여하는 일반적인 방법들은 수정되지 않은 실수 위에 쌓인 작업은 낭비되는 반면, 독립적인 작업은 여전히 유효하다는 점을 간과합니다. 최종 성공/실패 보상만 주어질 경우, 실패한 에피소드의 모든 스텝은 비록 진전을 이루었더라도 미래 총 보상이 0이 됩니다. 본 논문에서는 태스크의 진행 상황을 선행 조건 관계로 연결된 술어(predicate)로 표현하고 의존성 그래프상에서 스텝 레벨의 기여도를 할당하는 의존성 인식 보상 형성(Dependency-Aware Reward Shaping, DARS)을 제안합니다. 주석기(annotator)는 각 스텝이 어떤 술어를 검증(verify), 무효화(invalidate) 또는 복구(repair)하는지 표시합니다. 검증된 술어는 가장 가까운 깨진 선행 조건과의 그래프 거리에 따라 할인되며, 독립적인 술어는 영향을 받지 않습니다. 복구 작업은 남아 있는 오류를 기반으로 이러한 가중치를 업데이트하며, 무효화된 술어는 기여도를 다시 얻기 위해 재검증이 필요합니다. 고정된 포텐셜(potential)은 이러한 주석을 부호가 있는 스텝별 보상으로 변환합니다. 공통 보상 및 주석 인터페이스 덕분에 DARS는 롤아웃(rollout) 전략이나 옵티마이저를 변경하지 않고도 GiGPO, ARPO/AEPO와 같은 다양한 추론 및 에이전트 학습 방법에 통합될 수 있습니다. 5가지 태스크 제품군과 1.5B부터 8B까지의 모델 전반에서, DARS는 동일한 예산 및 하네스로 학습된 GiGPO 대비 성공률을 최대 10포인트 향상시키고(ALFWorld), WebShop 태스크 점수와 Search-R1 QA 정확도를 높이며, Python 인터프리터를 활용한 AIME24/25에서의 AEPO 엔트로피 기반 학습을 보완하고, 1.7B 및 4B의 제어된 도구 미사용(tool-free) 추론 비교에서 OmniOPD를 능가합니다. 소거 연구(ablation study)는 스텝 레벨 기여도, 의존성 감쇠, 그래프 토폴로지가 각각 성능에 기여함을 보여줍니다. ALFWorld에서 증류된 8B 주석기는 API 주석기와 동등한 성능을 보여, DARS가 프론티어 판별 모델(frontier judge) 없이도 효율적으로 실행될 수 있도록 합니다. 코드는 https://github.com/JianhuiWei7/DARS 에서 확인할 수 있습니다.

arXiv:2609.27156v1cs.CL

합당한 곳에 기여도 부여하기: 효율적인 추론을 위한 중복 인식 학습

Giving Credit Where It's Due: Redundancy-Aware Learning for Efficient Reasoning

대규모 추론 모델은 정확하면서도 불필요하게 긴 추론 궤적을 생성할 수 있습니다. 기존 방법들은 궤적 수준의 목표나 국소적인 토큰(token) 및 스텝 수준의 신호로 추론 효율성을 개선하지만, 스텝 간의 의미적 의존성을 모델링하는 경우는 드뭅니다. 이는 이후의 연역을 뒷받침하는 스텝과 불필요한 스텝을 구분하는 능력을 제한하여, 정확도를 희생하지 않고 추론을 단축하는 것을 더 어렵게 만듭니다. 우리는 추론 구조 내에서 스텝의 다운스트림 역할과 문제를 올바르게 해결하는 데 기여한 정도를 모두 기반으로 합당한 곳에 기여도를 부여함으로써 이러한 한계를 해결하는 RECAP(REdundancy-aware Credit Assignment via Propagation)을 소개합니다. 우리는 결과 독립적이고 대규모 언어 모델(LLM)이 주석을 단 의미적 의존성 그래프를 통해 최종 답변 노드(node)로부터 역방향으로 전파되는 기여도를 사용하여 이후 추론이 해당 스텝에 얼마나 강하게 의존하는지 측정함으로써, 스텝의 다운스트림 역할을 포착하는 구조적 책임을 정의합니다. 그러나 어떤 스텝은 높은 구조적 책임을 가지면서도 추론을 정답에서 벗어나게 유도할 수 있습니다. 따라서 RECAP은 각 스텝이 추가됨에 따른 정답 로그 가능도(likelihood)의 변화를 통해 정답 지향적 진전을 측정하는 스텝 효능을 도입합니다. 이 신호들은 함께 롤아웃(rollout) 수준의 GRPO 어드밴티지를 스텝별 업데이트로 재구성합니다. RECAP은 별도로 학습(training)된 프로세스 보상 모델(reward model)이나 사전에 구축된 간결한 궤적을 모두 필요로 하지 않습니다. 두 개의 7B 모델(model)과 네 개의 수학적 추론 벤치마크(benchmark) 전반에서 RECAP은 정확도-효율성 트레이드오프를 개선합니다. Qwen2.5-Math-7B에서 네 개 벤치마크 모두에 걸쳐 GRPO 대비 추론 토큰을 8%-31% 줄이면서 pass@1을 2.0-3.7 퍼센트포인트 향상시킵니다. 분석에 따르면 이러한 절감은 더 압축된 표현보다는 더 적은 추론 연산과 덜 막다른 추론을 반영함을 시사합니다.

arXiv:2609.27532v1cs.LG

ProCredit: 에이전트 강화학습에서 결과 보상에서 진행 크레딧으로

ProCredit: From Outcome Rewards to Progress Credit in Agentic Reinforcement Learning

장기 에이전트 작업은 에이전트가 일련의 도구 호출을 통해 환경을 수정해야 하며, 성공은 최종 상태로 결정된다. 일반적인 방법은 마지막에 단일 결과 보상(outcome reward)을 부여하고 동일한 작업에 대해 샘플링된 궤적(trajectory)들을 비교한다. 그 결과 성공 궤적이 없는 그룹은 학습 신호를 주지 않고, 실패한 시도는 완료에 얼마나 가까웠는지 구분할 수 없으며, 작업을 진전시키는 턴과 환경만 조회하는 턴이 같은 크레딧을 받는다. 선행 연구는 비교 단위를 궤적에서 스텝(step)으로 세분화하거나 중간 신호를 위해 보상 모델을 학습한다. 전자는 여전히 최종 성공만으로 신호를 얻고, 후자는 모델로 이를 추정한다. 우리는 성공을 판정하는 수락 검사(acceptance check)를 중간 상태에서도 실행할 수 있음을 관찰했으며, 따라서 진행(progress)은 결과만큼 검증 가능하다. 우리는 이 검증된 진행을 크레딧으로 전환하는 ProCredit을 제안한다. ProCredit은 각 턴 후 수락 검사를 다시 실행하고, 진행 변화량에 따라 턴에 보상을 부여하며, 이 보상으로 동일 작업에 대한 여러 시도 간과 궤적 내 턴 간 모두에 크레딧을 할당한다. AppWorld에서 세 가지 규모의 Qwen3.5 베이스 모델을 시작점으로 할 때, ProCredit은 두 테스트 세트 모두에서 모든 규모에서 작업 완료율 기준으로 결과 보상 기준선과 진행 기반 기준선을 능가하며, 4B에서는 가장 강한 결과 보상 기준선보다 4.1퍼센트포인트 높고, 두 번째 환경에서도 같은 방향의 개선이 나타난다. ablation은 궤적 점수에 최종 진행만 더하는 것만으로는 성능이 개선되지 않음을 보여 주며, 이득은 진행이 발생한 턴에 크레딧을 부여하는 데서 온다.