PyTorchKR Papers

최신 논문

총 41편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.27025v2cs.CL

심리학 기반 추론과 역할 인식 정책 최적화를 통한 일반 역할 연기 에이전트 개선

Improving General Role-Playing Agents via Psychology-Grounded Reasoning and Role-Aware Policy Optimization

Building general-purpose role-playing agents that faithfully portray any character from a natural-language profile remains challenging. Explicit reasoning can help models deliberate before responding, but generic reasoning does not necessarily preserve character fidelity. We therefore propose Psy-CoT, a psychology-grounded chain-of-thought framework that decomposes pre-response reasoning into three role-specific steps: Interaction Perception, Psychological Empathy, and Logical Construction, so that the model thinks dynamically from the profile rather than merely mimicking surface patterns. While structured reasoning provides a foundation, it alone is insufficient; reinforcement learning is essential to further align the model with character fidelity. However, we observe that under LLM-based reward models, both generic phrases that hack the reward model and genuinely role-specific phrases receive identical gradient signals. This hacking accumulates over training, misleading the model into treating both as equally optimal choices. To address this, we propose Role-Aware Policy Optimization (RAPO), which uses profile-induced entropy differences to weight gradients asymmetrically, amplifying role-specific tokens under positive advantage while attenuating them under negative advantage. Experiments on CoSER, CharacterBench, and CharacterEval demonstrate that Psy-CoT outperforms existing role-playing CoT methods, and RAPO consistently surpasses GRPO across multiple model scales.

arXiv:2610.15772v1cs.CL

RSIPO: 스킬-정책 공진화를 통한 에이전트 강화학습용 재귀적 자기 개선 정책 최적화

RSIPO: Recursive Self-Improving Policy Optimization for Agentic Reinforcement Learning via Skill-Policy Co-Evolution

최근 에이전트(agent) 강화학습(RL) 분야에서는 긴 지평(long-horizon) 과제에서의 신용 할당(credit assignment)을 개선하는 데 집중하고 있습니다. 유망한 방향 중 하나는 검증 가능한 보상을 활용한 강화학습(RLVR)과 온-정책(on-policy) 자기 증류(OPSD)를 결합하여, 궤적 수준(trajectory-level)의 이점(advantage)과 조밀한 토큰 수준의 감독을 통합하는 것입니다. 이러한 일련의 연구는 학생 정책(student policy)이 생성한 토큰을 평가하기 위해 에이전트 스킬과 같은 특권적 문맥(privileged context)에 교사 모델을 조건화하는 경우가 많습니다. 이러한 진전에도 불구하고, 기존 연구들은 에이전트 스킬의 온-정책적 진화와 교사 감독의 신뢰성을 대체로 간과하고 있습니다. 이를 해결하기 위해, 본 논문에서는 학습 과정 전반에 걸쳐 에이전트 스킬과 정책 모델이 함께 공진화(co-evolve)할 수 있도록 하는 자기 진화형 에이전트 강화학습 프레임워크인 재귀적 자기 개선 정책 최적화(RSIPO)를 제안합니다. 구체적으로 RSIPO는 정책 모델 스스로가 완료된 궤적에서 스킬을 추출할 수 있도록 하며, 궤적 리플레이(trajectory replay)를 통해 스킬 생성 역량을 명시적으로 최적화합니다. 또한 스킬로 강화된 교사의 지도가 때로는 신뢰성이 떨어질 수 있다는 점을 고려하여, 경험적 베이즈 축소(empirical Bayes shrinkage)를 적용해 교사 점수에 대한 학생의 신뢰도를 동적으로 보정합니다. 체화된 상호작용(embodied interaction) 및 검색 기반 에이전트 과제에서 Qwen 계열 모델을 사용한 실험 결과, RSIPO가 비교 대상이 된 모든 기준선 접근법을 능가하는 성능을 보였습니다. Qwen2.5-7B를 기본 모델로 사용했을 때 RSIPO는 ALFWorld에서 평균 98.6%의 성공률을 달성하여, 차상위 기준선 및 표준 GRPO 대비 각각 2.5%와 17.4%의 절대적인 성능 향상을 기록했습니다.

arXiv:2610.13755v1cs.LG

LLM 에이전트 학습을 위한 맥락 일치 그룹 정책 최적화

Matched-Context Group Policy Optimization for LLM Agent Training

장기적인(long-horizon) 언어 모델 에이전트를 학습시키려면 희소한 최종 피드백으로부터 중간 결정들에 대한 신용 할당(credit assignment)을 수행해야 합니다. 유한한 형제 롤아웃(sibling rollout) 그룹 내에서 유용한 행동 비교는 해당 행동의 맥락, 두 대안에 대한 증거, 그리고 그 증거가 학습에 어떻게 반영되는지에 따라 달라집니다. 본 연구에서는 이미 수집된 궤적(trajectory)으로부터 가중 행동 선호도를 구축하는 절차인 맥락 일치 그룹 정책 최적화(Matched-Context Group Policy Optimization, MCGPO)를 제안합니다. MCGPO는 행동 전 상태 요약 및 관찰된 루브릭 진행 상황으로 비교 맥락을 정의하며, 이는 작업 규칙에 의해 주석 처리됩니다. 두 행동 지지(two-action support)는 순서화된 정확 및 대략적 매칭 규칙 중에서 선택합니다. 고정 폴드(fixed fold)는 후보 결정들을 선호도 방향을 설정하는 데 사용되는 최종 결과로부터 분리하며, 지지 의존적 증거 가중치는 공유된 GraphGPO 작업 학습과 함께 보조 쌍별(pairwise) 목적 함수를 스케일링합니다. MCGPO는 롤아웃 데이터와 각 응답의 원래 이력을 재사용하여 비평자 없는(critic-free) 학습을 유지합니다. 각각 세 가지 학습 시드를 사용한 6개의 환경-백본 설정 전반에서, MCGPO는 일치된 GraphGPO 대비 평균 성공률을 향상시켰습니다. Qwen2.5-1.5B 및 7B를 사용한 ALFWorld와 WebShop에서 0.47~1.46%포인트 향상되었으며, Qwen3-4B 및 8B를 사용한 WebShop에서는 3.96 및 5.16포인트 향상되었습니다. ALFWorld의 성능 향상은 여유 공간이 제한적인 92% 이상의 기준선 성공률을 기반으로 이루어졌습니다. 통합 성공률은 4개의 Qwen2.5 설정 중 3개에서 향상되었습니다. 3개 시드 요인 제어(factorial controls)는 반대 폴드 증거 및 증거 가중치를 뒷받침하며, 결합 상태-루브릭 매칭은 4개의 표현-제어 설정 모두에서 가장 높은 평균을 달성했습니다.

arXiv:2607.10169v2cs.LG

유클리드 클리핑을 넘어서: 리만 등거리 정책 최적화를 통한 LLM 강화학습 내 탐험 붕괴 극복

Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization

강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 지배적인 패러다임이 되었다. 그러나 PPO-Clip을 사용하는 강화학습 알고리즘은 본질적으로 탐험(exploration) 붕괴라는 한계를 지닌다. 이후 연구들은 주로 휴리스틱에 머물러 있으며 PPO-Clip 실패의 본질적인 원인을 규명하지 못하고 있다. 본 연구는 PPO-Clip의 근본적인 결함을 밝힌다: PPO-Clip은 유클리드 메트릭을 사용하여 정책 불일치를 암묵적으로 측정하는데, 이는 정책 리만 다양체의 내재적 기하구조와 이론적으로 불일치한다. 이러한 기하학적 불일치는 저확률 영역에서는 지나치게 보수적인 업데이트를, 고확률 영역에서는 공격적인 업데이트를 초래하여 결국 탐험을 붕괴시킨다. 이러한 기하학적 결함을 수정하기 위해, 우리는 리만 다양체 위에서 등거리 정책 업데이트를 보장하여 탐험과 활용(exploitation)의 균형을 효과적으로 맞추는 Riemannian Isometric Policy Optimization(RIPO)을 제안한다. 나아가 우리는 RIPO가 유리한 바이어스(bias)-분산 트레이드오프를 달성하여 최적화를 안정화함을 보인다. 광범위한 실험을 통해 RIPO가 7개의 경시대회 수준 벤치마크 전반에서 기존 LLM 강화학습 알고리즘을 크게 능가함을 입증한다(AIME24에서 GRPO 대비 최대 60% 향상).

arXiv:2610.01548v2cs.LG

Range-GRPO: 보상 구간 간 쌍별 관계를 통한 정책 최적화

Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals

대규모 언어 모델(LLM)의 활용이 확대됨에 따라, 이를 다운스트림 작업에 적응시키기 위한 사후 학습의 중요성이 점점 커지고 있다. 그러나 특히 참조 정답이나 실행 가능한 검증기가 없는 분야에서는 신뢰할 수 있는 감독(supervision)을 확보하는 데 여전히 많은 비용이 든다. LLM-as-a-judge는 레이블이 없는 응답에 대해 확장 가능한 유사 보상(pseudo-reward)을 제공하지만, 단일 점수(point score)는 보상의 불확실성을 명시적으로 나타내지 못한다. 이는 유사 보상을 콘포멀하게 보정된(conformally calibrated) 보상 구간으로 표현하려는 동기가 된다. 우리는 제한된 레이블 데이터와 레이블이 없는 프롬프트를 결합하는 반지도(semi-supervised) 사후 학습 프레임워크인 Range-GRPO를 제안한다. Group Relative Policy Optimization(GRPO)에서는 학습 신호가 각 롤아웃 그룹 내에서의 상대적 보상 비교에 의존한다. 제안하는 목적 함수는 보상 구간을 점 보상(point reward)으로 축소하는 대신 쌍별(pairwise)로 비교함으로써, 구간 불확실성이 이러한 신호의 크기와 방향 모두에 영향을 미칠 수 있도록 한다. 이론적 분석을 통해 이러한 차이를 규명하고, 모든 보상 구간이 점으로 축소될 때 제안된 목적 함수가 Dr.GRPO의 어드밴티지(advantage)로 환원됨을 보인다. 실험적으로 Range-GRPO는 평가된 반지도 학습 방법들 중에서 분포 내(in-distribution) 및 분포 외(out-of-distribution) 평균 성능이 가장 높으면서도 더 적은 학습 자원을 필요로 한다.

arXiv:2610.03634v1cs.AI

핵심에 대한 보상: 터미널 에이전트를 위한 의존성 인식 정책 최적화

Credit Where It Matters: Dependency-Aware Policy Optimization for Terminal Agents

터미널을 사용하는 에이전트(agent)는 코딩, 디버깅 및 기타 다단계 터미널 작업에서 강화학습(RL)의 이점을 얻습니다. 이러한 작업에서는 후속 명령어가 이전 명령어에 의해 생성된 정보나 중간 결과에 의존하는 경우가 많습니다. 그러나 기존의 궤적 수준(trajectory-level) 및 단계 수준(step-level) 신용 할당(credit assignment) 방법은 명령어가 최종 결과에 영향을 미치는 읽기-쓰기 의존성을 명시적으로 추적하지 않습니다. 결과적으로 무관한 연산에도 학습(training) 신호가 할당되어 유의미한 단계로부터의 학습을 약화시킬 수 있습니다. 본 논문에서는 명령어 간의 실행 의존성을 활용하여 터미널 에이전트의 신용 할당을 안내하는 의존성 인식 그룹 정책 최적화(Dependency-Aware Group Policy Optimization, DepGPO)를 제안합니다. 구체적으로, 실행 추적(execution trace)으로부터 명령어 의존성 그래프를 구축하고 작업 검증기(task verifier)가 검사한 리소스에서부터 역방향으로 추적합니다. 그런 다음 이러한 경로를 따라 관련 쓰기 작업 및 이를 뒷받침하는 읽기 작업에 신용을 할당하고, 이를 활용해 단계별로 궤적 이점(trajectory advantage)을 재분배합니다. 광범위한 비교 실험과 절제 연구(ablation study)를 통해 DepGPO가 복잡한 터미널 작업에서 작업 성능과 학습 안정성을 향상시킴을 입증합니다.

arXiv:2602.13691v2cs.AI

PhGPO: 장기 도구 계획을 위한 페로몬 유도 정책 최적화

PhGPO: Pheromone-Guided Policy Optimization for Long-Horizon Tool Planning

대규모 언어 모델(LLM) 에이전트의 최근 발전은 도구 사용을 통해 복잡한 작업을 실행하는 데 뛰어난 역량을 입증했습니다. 그러나 탐험(exploration) 공간이 조합적 폭발을 겪기 때문에 장기 다단계 도구 계획은 여전히 어렵습니다. 이러한 시나리오에서는 올바른 도구 사용 경로를 찾더라도 일반적으로 현재 학습(training)에 대한 즉각적인 보상(reward)으로만 간주되어, 후속 학습을 위한 재사용 가능한 정보를 제공하지 못합니다. 본 논문에서는 역사적으로 성공한 궤적에 전체 학습 과정 전반에 걸쳐 활용할 수 있는 재사용 가능한 도구 전이 패턴이 포함되어 있다고 주장합니다. 역사적으로 성공한 경로가 페로몬으로 반영될 수 있는 개미 군집 최적화(ant colony optimization)에서 영감을 받아, 우리는 과거 궤적에서 궤적 기반 전이 패턴(즉, 페로몬)을 학습한 다음 학습된 페로몬을 사용하여 정책 최적화를 유도하는 페로몬 유도 정책 최적화(PhGPO)를 제안합니다. 이 학습된 페로몬은 정책 최적화가 역사적으로 성공적인 도구 전이를 향하도록 유도하는 명시적이고 재사용 가능한 가이드를 제공하여 장기 도구 계획을 개선합니다. 포괄적인 실험 결과는 우리가 제안한 PhGPO의 효과를 입증합니다.

arXiv:2610.00360v1cs.RO

DexPolicy: 궤적 유도 기반 정밀 조작을 위한 스케줄링된 탐험

DexPolicy: Scheduled Exploration for Trajectory-Guided Dexterous Manipulation

정밀 조작(dexterous manipulation)을 위한 강화학습(RL)은 손가락과 물체 간의 접촉을 찾아낸 다음 물체를 정밀하게 제어해야 하지만, 첫 번째 목표에 기여하는 행동 노이즈(action noise)가 두 번째 목표를 방해할 수 있습니다. 강화학습이 사람의 영상으로부터 손-물체 궤적을 정제하는 ViViDex와 같은 궤적 유도(trajectory-guided) 환경에서, 기준선(baseline) PPO 실행은 500만 스텝 후에도 초기 행동 노이즈 근처에서 종료되므로 탐험(exploration) 스케일을 명시적으로 제어할 필요성이 제기됩니다. DexPolicy는 손실(loss), 아키텍처, 보상(reward), 옵티마이저(optimizer) 설정을 고정한 채로, 탐험 스케일을 학습(training) 스텝의 명시적 함수로 만들어 넓은 탐험에서 좁은 탐험으로 점진적으로 감소(annealing)시킵니다. 본 연구에서는 세 가지 정책 최적화 설정을 다룹니다: PPO, 크리틱이 없는 GRPO 지속(continuation), 그리고 플로우 매개변수화 PPO 변형(FPO). 5개의 YCB 물체와 3개의 학습 시드에 걸쳐, 평균 결정론적 Target 성공률은 각각 49.4%에서 68.1%(FPO), 14.1%에서 45.4%(GRPO), 32.0%에서 35.7%(PPO)로 상승합니다. Inspire/RH56 손이 장착된 RealMan RM75 로봇 팔에서 물체-방법 조건당 하나의 학습된 모델(model)을 사용하여 3개의 물체에 대해 360회 시험한 결과, 평균 Target 성공률이 25.0%에서 85.0%(FPO), 10.0%에서 63.3%(GRPO), 8.3%에서 43.3%(PPO)로 향상되었습니다. PPO 구성 요소 스크리닝에서는 테스트된 옵티마이저 수축보다 노이즈 제어가 더 우세한 것으로 나타났으며, 선택된 PPO 스케줄은 세 가지 테스트 대상 물체에서 동일한 종단을 가진 선형 감쇠보다 더 높은 평균 Target 성공률을 산출합니다. 학습 리턴(return), 결정론적 Target 성공률, 실행 노이즈에 대한 허용 오차는 서로 분리되므로, 스케줄은 과제 및 정책 최적화 설정에 따라 의도된 실행 조건 하에서의 최종 과제 성공률로 평가되어야 합니다. 코드: https://github.com/AIGeeksGroup/DexPolicy. 웹사이트: https://aigeeksgroup.github.io/DexPolicy.

arXiv:2606.18216v4cs.CL

근접 정책 최적화 영역: 그래디언트가 아닌 프롬프트 속의 교사

Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients

지식 증류(knowledge distillation)는 교사의 역량을 작은 학생 모델로 이전하지만, 작은 학생 체제에서는 취약합니다. 훨씬 더 큰 교사의 로짓(logit)을 모방하도록 학생 모델에 강제하면 학습(training) 말뭉치를 벗어난 벤치마크 계열에서의 일반화 성능이 저하됩니다. 강화학습(RL)은 학생 모델 자체의 롤아웃(rollout)을 기반으로 학습하여 로짓 모방을 방지합니다. 그러나 모든 롤아웃이 실패하여 어드밴티지가 0이 되고 묵묵히 버려지는 질문의 경우, 더 강력한 교사의 응답을 정책 그래디언트(policy gradient)에 주입하면 온-정책(on-policy) 가정이 깨지고 드리프트가 발생합니다. 본 논문에서는 비고츠키(Vygotsky)의 근접 발달 영역(zone of proximal development)에서 영감을 얻은 근접 정책 최적화 영역(ZPPO, Zone of Proximal Policy Optimization)을 소개합니다. ZPPO는 교사를 정책 그래디언트 대신 프롬프트(prompt) 내에 유지합니다. 학생의 평균 롤아웃 정확도가 절반 미만인 어려운 질문에 대해 ZPPO는 두 가지 재구성된 프롬프트를 생성합니다. 이진 후보 포함 질문(BCQ)은 정답인 교사 응답 하나와 오답인 학생 응답 하나를 익명화된 후보 쌍으로 구성하여 학생이 참고 자료로 활용하도록 합니다. 부정 후보 포함 질문(NCQ)은 학생의 잘못된 롤아웃들을 단일 프롬프트로 집약하여 공통된 실패 모드를 드러냅니다. 프롬프트 재생 버퍼(replay buffer)는 각 어려운 질문이 졸업(해당 질문에 대한 학생의 평균 롤아웃 정확도가 절반 이상에 도달)하거나 유한한 용량 하에서 FIFO 방식으로 방출될 때까지 순환시킴으로써, 학생의 현재 근접 발달 영역 내에서 BCQ와 NCQ를 증폭합니다. 27B 교사 모델을 활용하여 4가지 스케일(0.8B~9B)의 Qwen3.5 학생 모델을 비전-언어 모델로 사후학습(post-training)하고 31개 벤치마크 스위트(VLM 16개, LLM 10개, 비디오 5개)에서 평가한 결과, ZPPO는 오프/온-정책 증류 및 GRPO보다 우수한 성능을 보였으며 가장 작은 스케일에서 가장 큰 폭의 향상을 달성했습니다.

arXiv:2609.27833v1cs.LG

추론 문자열에서 부분 순서로: 몫 정책 최적화를 통한 검증기 인증 규칙 전이

From Reasoning Strings to Partial Orders: Verifier-Certified Rule Transport through Quotient Policy Optimization

많은 계산은 독립적인 하위 목표나 서로 겹치지 않는 상태 갱신이 교환 가능(commute)하기 때문에 여러 개의 유효한 실행 순서를 허용한다. 검증 가능한 보상을 사용하는 강화학습(reinforcement learning with verifiable rewards)은 보통 성공한 각 궤적(trace)을 서로 별개의 토큰 시퀀스로 취급하므로, 직렬화(serialization) 선택이 논리적 의존성으로 오인될 수 있다. 우리는 인접한 연산 쌍을 네이티브 검증기(native verifier)로 재실행하는 Verifier-Certified Rule Transport(VCRT)를 제안한다. 두 순서가 모두 수용되고 동일한 정규 상태(canonical state)에 도달하는 쌍은 교환 인증서(commutation certificate)를 제공하며, 거부되거나 상태가 바뀌는 역순은 반다이아몬드(anti-diamond)를 제공한다. VCRT는 반다이아몬드를 사용하여 진정한 선행 조건을 보존하고, 인증된 각 궤도(orbit)의 전체 확률 질량에 정책 크레딧을 할당한다. 또한 교환 후 일관성, 원본 유지(source retention), 정책 드리프트(policy drift)를 제약한다. 우리는 공유된 익명화 관계 그래프 인터페이스를 통해 ProofWriter, CLRS, Lean 전반에서 하나의 환경을 제외하는(leave-one-environment-out) 전이를 평가한다. 모든 학습과 체크포인트 결정은 홀드아웃 평가 이전에 고정되며, 홀드아웃 평가는 탐색이나 검증기 피드백 없이 항목당 하나의 그리디 궤적을 사용한다. VCRT는 가장 강력한 대응 기준선의 64.53%에 비해 77.60%의 매크로 통과율을 달성하였으며, 이는 13.06%p의 짝지은(paired) 향상이다(95% 부트스트랩 신뢰구간 [12.58, 13.54]). 이 향상의 대부분은 33.49%p를 기록한 Lean에서 나오며, ProofWriter와 CLRS는 평균 2.85%p 향상된다. 메커니즘 테스트는 일관되게 반다이아몬드 지도(supervision)를 지지하는 반면, No-Orbit은 전체 VCRT와 통계적으로 구별되지 않는다. 이 증거는 정확한 궤도 집계(exact orbit aggregation)가 전반적인 이점을 준다는 점을 입증하지 못한다.

arXiv:2609.27035v1cs.AI

분해된 하위 과제를 활용한 강화학습

Reinforcement Learning with Decomposed Subtasks

언어 모델(LM) 에이전트를 학습시키기 위한 GRPO(Group Relative Policy Optimization) 및 관련 정책 그래디언트(policy-gradient) 방식은 정책 업데이트가 이루어지기 전 전체 멀티턴 롤아웃을 단일 스칼라 궤적 보상으로 압축합니다. 특히 희소하고 지연된 환경 피드백 하에서 과제가 서로 다른 여러 기술로 구성되어 있을 때, 이러한 압축은 손실을 초래합니다. 즉, 옵티마이저는 어떤 역량이 결과를 이끌어냈으며 이것이 행동을 어떻게 변화시켜야 하는지를 암묵적으로 추론해야만 합니다. 본 논문에서는 올바른 프리미티브가 더 나은 스칼라 보상이 아니라 '분해'라고 주장합니다. 즉, 정책 업데이트에 들어가기 전에 궤적 보상을 하위 과제(subtask)에 따라 분할해야 합니다. 본 연구에서는 RLDS(Reinforcement Learning with Decomposed Subtasks)를 소개하며, 그 핵심은 SDAE(Subtask-Decomposed Advantage Estimation)입니다. SDAE는 스칼라 GRPO 어드밴티지를 대체하는 기법으로, 고정된 분류 체계에 따라 궤적 보상을 하위 과제별 몫으로 분할하고, 하위 과제별 그룹 상대적 어드밴티지를 계산하며, 각 하위 과제의 어드밴티지를 중요도에 따라 가중하여 토큰별 신용을 배분하되, 반추(reflection)를 통해 해당 하위 과제의 실행이 결정적인 영향을 미쳤다고 표시된 스텝 주변에 이를 집중시킵니다. 우리는 4개의 에이전트 벤치마크인 FrozenLake(희소 그리드 탐색), HotpotQA(멀티홉 질의응답, 단일 검색 도구), ScienceWorld(긴 주기 구현 과학 환경), DeepResearch(장문 연구, 4개 도구, 복합 루브릭 보상)에서 평가를 수행했습니다. 학습 중 산출된 이질성(heterogeneity) 진단 결과는 분해가 어디에서 성과를 내는지를 보여줍니다. 성능 향상은 하위 과제 이질성과 비례하여 확장되었으며, 이질성이 높은 과제인 ScienceWorld(+11.5점, 대응 표본 부트스트랩 95% CI [+9.8, +13.3])와 FrozenLake(+9.8점, [+7.0, +12.8])에서 가장 컸고, 진단 결과 회수할 여지가 거의 없다고 예측된 HotpotQA 및 DeepResearch에서는 오차 범위 내에 머물렀습니다. 또한 ScienceWorld는 RLDS 하에서 스칼라 GRPO 대비 연산 효율도 더 높았는데(스텝당 벽시계 시간 -10.9%), 이는 긴 롤아웃이 고정된 '반추 및 채점(reflect-and-grade)' 오버헤드를 분할 상각하기 때문입니다.

arXiv:2606.22570v2cs.CL

LLM 추론을 위한 강화학습 업데이트의 핵심 요인은 무엇인가?

What are Key Factors for Updates in RL for LLM Reasoning?

LLM 추론용 검증 가능한 보상 강화학습(RLVR)에서 롤아웃당 그래디언트 스텝 수로 결정되는 오프-정책 정도가 중요도 샘플링 비율 분산과 클리핑 동작을 바꿔 업데이트를 지배하는 토큰을 달리한다는 점을 이론 분석으로 설명하고, 토큰 그룹별 중요도 샘플링 비율 분산에 맞춰 클리핑 경계를 조정하는 Adaptive Clip Policy Optimization(ACPO)을 제안한다. 3B·7B 모델의 수학 문제 풀이, 표 QA, 논리 퍼즐 등 추론 벤치마크에서 ACPO가 DAPO, CISPO 등 강력한 베이스라인을 능가한다.

arXiv:2603.02196v4cs.AI

컨포멀 정책 제어

Conformal Policy Control

안전한 참조 정책의 데이터를 활용한 컨포멀 보정(conformal calibration)으로 최적화된 미검증 정책의 가능-행동 범위를 확률적으로 조절하는 Conformal Policy Control(CPC)을 제안하며, 비단조 유계 손실 함수에 대한 유한 샘플 보장을 이론적으로 증명한다. 의료 질의응답, 능동 학습, 생체분자 서열 최적화 실험에서 배포 첫 순간부터 안전한 탐험(safe exploration)이 가능할 뿐 아니라 성능 향상에도 기여함을 실증한다.

arXiv:2606.30345v2cs.LG

DRIFT: 리듬 게이팅 탐험과 성공 버퍼 학습을 활용한 난이도 라우팅 자기 증류

DRIFT: Difficulty Routing Self-DIstillation with Rhythm-Gated Exploration and Success BuFfer Training

DRIFT는 외부 감독 없이 대규모 언어 모델(LLM)의 안정적인 자기 개선을 위해 문제 수준의 난이도 라우팅(Difficulty Routing)과 토큰 수준의 리듬 게이팅(Rhythm Gating)을 결합한 온라인 자기 진화 정책 최적화 프레임워크로, 성공 버퍼와 2단계 커리큘럼 학습을 통해 GRPO 및 SDPO 대비 5개 벤치마크 평균 점수에서 각각 9.5%, 7.5% 높은 79.5%를 달성했다.

arXiv:2606.12384v2cs.LG

APPO: 에이전트 절차적 정책 최적화

APPO: Agentic Procedural Policy Optimization

최근 에이전트 강화학습(RL)의 발전으로 대규모 언어 모델 에이전트의 다중 턴 도구 사용 능력이 크게 향상되었다. 그러나 기존 방법 대부분은 도구 호출 경계나 고정된 워크플로와 같은 거친 휴리스틱 단위에 대해 크레딧을 할당하여, 어떤 중간 결정이 하류 결과에 영향을 미치는지 파악하기 어렵다. 본 연구에서는 에이전트 RL을 두 가지 관점에서 살펴본다: \textit{어디에서 분기할 것인가, 분기 후 어떻게 크레딧을 할당할 것인가}. 예비 분석 결과, 영향력 있는 의사결정 지점은 도구 호출에 집중되기보다 생성된 시퀀스 전체에 넓게 분포하며, 토큰 엔트로피만으로는 최종 결과에 대한 그 영향을 신뢰성 있게 반영하지 못한다. 이러한 관찰에 동기를 받아, 본 연구는 분기와 크레딧 할당을 거친 상호작용 단위에서 시퀀스 내 세밀한 의사결정 지점으로 옮기는 \textbf{Agentic Procedural Policy Optimization (APPO)}를 제안한다. APPO는 토큰 불확실성과 이후 연속 생성의 정책 유도 가능도 이득을 결합한 Branching Score를 사용해 분기 위치를 선택하여, 허위의 고엔트로피 위치를 걸러내면서 더 목표 지향적인 탐험을 가능하게 한다. 또한 분기된 롤아웃 전반에 걸쳐 크레딧을 더 잘 분배하기 위해 절차 수준(procedure-level) advantage 스케일링을 도입한다. 13개 벤치마크 실험에서 APPO는 강력한 에이전트 RL 베이스라인을 약 4점 일관되게 향상시키며, 효율적인 도구 호출을 유지하고 행동 해석 가능성을 보존한다.

arXiv:2607.22724v1cs.LG

장기 호라이즌 에이전트 과제를 위한 진행 상태 조건 그룹 정책 최적화

Progress-conditioned Group Policy Optimization for Long-Horizon Agentic Tasks

그룹 기반 정책 최적화는 그룹 내 궤적(trajectory) 또는 스텝(step)을 비교하여 희소한 결과 보상(sparse outcome reward)으로부터 대규모 언어 모델(LLM) 에이전트를 학습하는 데 점점 더 널리 사용되고 있다. 그러나 어려운 장기 호라이즌 과제에서는 이러한 비교가 샘플링 불균형(sampling imbalance)에 시달릴 수 있다. 반복되거나 효과가 낮은 행동(action)이 정책(policy)의 고확률 영역을 지배하는 반면, 유용한 상태 변화(state-changing) 행동은 과소 샘플링(under-sampled)된 채로 남는다. 이 불균형은 많은 전부 실패(all-failed) 롤아웃 그룹을 만들어내며, 이때 결과 보상은 정책을 수정하는 방향을 제공하지 못한다. 이러한 효과들이 함께 작용하면 자기 강화(self-reinforcing) 크레딧 함정(credit trap)을 형성할 수 있다. 실패가 지배하는 샘플링은 결과 기반 수정을 낳지 않아, 반복되는 저효과 행동이 지속되도록 한다. 이 순환을 끊기 위해, 우리는 진행 상태 조건 그룹 정책 최적화(Progress-conditioned Group Policy Optimization, ProGPO)를 제안한다. ProGPO는 그룹 내 모든 샘플이 결과 보상 0을 받을 때에만 첫 방문 관측(observation) 커버리지(first-visit observation coverage)를 사용한다. 구체적으로, 이러한 그룹 내에서 ProGPO는 더 많은 새로운 상태(state)를 방문하는 궤적 또는 스텝에 더 높은 상대적 advantage를 부여한다. 새로운 관측에 도달하는 것은 과제 성공의 전제 조건이기 때문이다. Qwen2.5-1.5/7B-Instruct를 사용한 ALFWorld 및 WebShop이라는 두 가지 도전적인 에이전트 벤치마크(benchmark)에서의 실험은 ProGPO가 그룹 기반 베이스라인(baseline) 대비 일관되게 개선됨을 보여주며, 특히 어려운 과제에서 큰 향상을 보인다.

arXiv:2605.17770v4cs.AI

엔트로피-그라디언트 반전: 대규모 추론 모델의 내부 메커니즘으로의 접근

Entropy-Gradient Inversion: Moving Toward Internal Mechanism of Large Reasoning Models

대규모 추론 모델(LRM)의 내부 메커니즘을 규명하기 위해 토큰 엔트로피와 로짓 그라디언트 간의 음의 상관관계인 엔트로피-그라디언트 반전(Entropy-Gradient Inversion)을 정의하고, 이를 강화학습(RL) 보상 정규화에 반영한 CorR-PO를 제안합니다. 다양한 추론 벤치마크에서 제안된 방법이 최신 기법을 상회하며, 해당 반전 현상이 우수한 추론 성능과 밀접한 관련이 있음을 확인했습니다.

arXiv:2607.14614v1cs.LG

엔트로피를 넘어서: 대조적 정책 최적화를 통한 정확성 인식 어드밴티지 셰이핑

Beyond Entropy: Correctness-Aware Advantage Shaping via Contrastive Policy Optimization

검증 가능 보상 강화학습(RLVR)은 일반적으로 어드밴티지 셰이핑에 엔트로피를 사용한다. 그러나 엔트로피는 유용한 불확실성과 해로운 혼란을 구분할 수 없어, 정확성 신호로서의 효과가 제한된다. 우리는 참조 안내(reference-guided) 생성 분포와 일반(vanilla) 생성 분포 사이의 토큰 수준 대조적 불일치를 정확성 인식 어드밴티지 셰이핑에 활용하는 대조적 정책 최적화(CPO)를 제안한다. 이론적·실증적 결과 모두 이 불일치가 토큰 수준 정확성을 신뢰성 있게 나타냄을 보여준다. 또한 온-정책 지식 증류(On-policy Distillation)가 후방 분포가 외부 교사 모델에 의해 구현되는 CPO의 특수 사례임을 보인다. CPO는 제로-어드밴티지 문제도 해결한다. 도메인 내 및 도메인 외 벤치마크 실험에서 CPO는 강한 일반화를 유지하면서 엔트로피 기반 RLVR 방법을 크게 능가함을 보여준다. 추가 분석에 따르면, 정확한 응답과 부정확한 응답이 각각 자연스럽게 탐험과 활용을 지원하며, 둘의 균형이 최고 성능으로 이어진다.

arXiv:2607.14522v1cs.LG

이산 확산 모델 미세조정을 위한 연속 시간 강화학습 프레임워크

A Continuous-Time Reinforcement Learning Framework for Fine-Tuning Discrete Diffusion Models

우리는 확률적 제어(stochastic control) 접근법을 통해 이산 상태 공간과 잠재적으로 임의의 행동 공간을 갖는 연속 시간 강화학습(RL)을 공식화하며, 상태 역학(state dynamics)은 제어된 연속 시간 마르코프 연쇄(CTMC)로 모델링한다. 정책 최적화 문제를 고려하고 해당 정책 그래디언트 방법을 유도하여, 연속 시간 근접 정책 최적화(PPO) 및 그룹 상대 정책 최적화(GRPO) 변형에 이른다. 주요 응용으로, 점수 기반(score-based) 이산 확산 모델의 미세조정을 위한 완전한 연속 시간 RL 프레임워크를 개발한다. 제안된 프레임워크는 보상 신호에 대한 미분 가능성(differentiability)을 요구하지 않고 보상 기반 최적화를 가능하게 한다. 기존 GRPO 기반 접근법이 종단 보상(terminal reward)만에 의존하는 것과 대조적으로, 우리의 공식화는 노이즈 제거 궤적(denoising trajectory) 전반에 걸쳐 중간 보상 또는 advantage 신호를 통합할 수 있다. 중요하게도, 마스크 확산 모델(MDM)에 특화될 때, 우리 프레임워크는 어휘 단체(vocabulary simplex) 위에서 해석적으로 다룰 수 있는 확률 비(probability ratios)를 갖는 풍부한 정책 매개변수화 클래스를 포괄하며, MDM에서의 탐험(exploration)과 정책 최적화에 대한 통합적 관점을 제공한다. 마스크 확산 대규모 언어 모델(dLLM)에 대해서는 계산상 prohibitive한 궤적 우도(trajectory likelihood)를 효율적으로 추정하고 위치별 확률 비 계산의 계산 비용을 줄이기 위한 궤적 부분표본(trajectory subsampling) 기법을 추가로 제안한다. 저차원 엔트로피 정규화 최적화 문제와 수학적 추론 및 코딩 과제에서 dLLM의 RL 사후 학습(post-training) 모두에서 우리 방법의 효과를 입증한다.

arXiv:2607.09685v1cs.MA

적응형 다중 에이전트 시스템에서 정책 체제 간 전이학습

Transfer Learning Across Policy Regimes in Adaptive Multi-Agent Systems

정책 모델은 정책 수단과 그 결과 사이의 관계가 제도적 조건에 걸쳐 안정적으로 유지된다고 가정하는 경우가 많다. 그러나 적응형 사회기술 시스템에서는 이 가정이 성립하지 않을 수 있다. 규제 변화가 인센티브를 바꿀 수 있고, 에이전트가 전략적으로 반응할 수 있으며, 정책 변수에서 집계 결과로의 매핑 자체가 변할 수 있기 때문이다. 본 논문은 이러한 체제 변화를 적응형 다중 에이전트 시스템에서의 전이학습(transfer learning) 문제로 연구한다. 정책 체제는 관측 가능한 입력 분포와 정책 변수를 결과에 매핑하는 목표 함수에 의해 유도되는 학습 문제로 표현된다. 우리는 새로운 체제에서 유연한 가설 클래스를 탐색하는 백지(blank-slate) 학습기와, 이전 체제의 구조적 지식에 의해 유효 가설 클래스가 제한된 전이 학습기를 비교한다. 전이는 이 제한이 유효 복잡성을 줄이면서 새로운 목표 함수를 보존할 때 유익하며, 제한이 새로운 목표를 배제하여 오명세(misspecification)를 초래할 때는 해롭다. 양식화된 배출 규제 실험 환경과 동적 에이전트 기반 모델(ABM) 강건성 실험이 이 주장을 뒷받침한다. 목표 체제가 아핀 단조 세금-배출 관계를 보존하는 경우, 전이는 경험적 소표본 성능을 향상시킨다. 반면 목표 체제가 임계값 단절을 도입하는 경우, 동일하게 전이된 구조는 부정적 전이(negative transfer)를 야기한다. 즉 보류 오류가 높게 유지되고, 온라인 예측에서 더 많은 오류가 발생하며, 반복적인 온라인 스트림에서 오명세 하의 누적 오류 및 최종 윈도우 오류가 더 크게 나타난다. 본 논문의 기여는 방법론적인 것으로, 이전 규제 경험은 안정적인 구조적 불변량을 포착할 때 재사용해야 하지만, 정책 변화가 정책-결과 관계를 바꾸는 경우에는 신중하게 다루어야 함을 제시한다.